本文主要介紹如何將天翼云對象存儲的數據導入到云日志服務,實現數據的查詢分析、加工等操作。
注意
當前功能為白名單試用階段,僅在華北2資源池開放。
創建數據導入任務
登錄云日志服務控制臺。
左側菜單欄點擊“日志接入”,進入接入管理頁面
在“數據導入”模塊中,點擊“對象存儲ZOS-數據導入”
選擇目標日志項目和日志單元,單擊下一步。
設置接入配置,配置如下參數,確認無誤后,單擊下一步。
參數 說明 接入配置名稱 導入任務的唯一標識 ZOS存儲桶 待導入的文件所在的存儲桶 文件路徑前綴過濾 可通過文件路徑前綴過濾對象存儲文件,用于準確定位待導入的文件。比如待導入的文件都在nginx/目錄下,則可以指定前綴為nginx/。
如果不設置該參數,則遍歷整個對象存儲的存儲桶。
文件路徑正則過濾 通過文件路徑的正則表達式過濾對象存儲文件,用于準確定位待導入的文件。當對象存儲的文件名(包含文件路徑)匹配該正則表達式的文件才會導入到日志服務中。默認為空,表示不過濾。 文件修改時間過濾
通過文件修改時間過濾對象存儲文件,用于準確定位待導入的文件。
所有:表示將導入所有符合條件的文件
某時間開始:只導入某個時間點后修改過的文件
特定時間范圍:只導入某個時間范圍內修改過的文件
壓縮格式 待導入的對象存儲文件的壓縮格式,云日志服務根據對應格式進行解壓,并讀取數據。 檢查新文件周期 若目標對象存儲中的文件路徑中有新文件持續不斷產生,可以設置檢查新文件周期。設置后,導入任務會一直在后臺運行,自動周期性地發現并讀取新文件。
若目標對象存儲文件路徑中不再產生新文件,可設置為永不檢查,即導入任務讀取完所有符合條件的文件后,將自動退出。
文件編碼 選擇待導入的對象存儲文件的編碼格式,僅支持UTF-8和GBK。
數據格式 設置日志文件的解析格式:
單行文本:將對象存儲文件中的每一行解析為一條日志。
跨行文本:多行模式,需要設置行首正則表達式解析日志。
單行JSON:將逐行讀取對象存儲文件,并將每一行作為一個JSON對象進行解析。解析后,JSON中的各個字段將映射為日志的各個字段。
創建索引。默認開啟全文索引,您也可以根據需要手動創建字段索引用于字段查詢。
點擊完成,即可完成導入任務創建。等待1分鐘左右,在查詢日志界面能查詢到日志,則說明導入成功。
管理導入任務
在日志接入管理頁面,您可以進行如下操作:
修改配置:點擊編輯,可修改導入任務的相關配置,具體請參見創建數據導入任務。
刪除配置:點擊刪除,刪除該導入任務。刪除后不可恢復,請謹慎操作。