日志數據可分為結構化數據和非結構化數據。結構化數據指能夠用數字或統一的數據模型加以描述的數據,具有嚴格的長度和格式。非結構化數據指不便于用數據庫二維邏輯表來表現的數據,數據結構不規則或不完整,沒有預定義的數據模型。
日志結構化是以日志流為單位,通過不同的日志提取方式將日志流中的日志進行結構化,提取出有固定格式或者相似程度較高的日志,過濾掉不相關的日志。
注意事項
- 日志結構化是以日志流為單位,請先創建一個日志流。
- 日志流中的大部分日志需有一定的規則,否則結構化是無意義的。
- 結構化配置修改后,對新寫入的日志數據生效,歷史日志數據不會生效。
創建結構化配置
通過對日志流添加提取規則將日志流中的原始日志按一定的規律進行提取,并將提取后的日志整合到一起。
下面詳細介紹原始日志結構化的操作步驟:
-
登錄LTS控制臺,在左側導航欄中選擇“日志管理”。
-
結構化日志以日志流為單位,請在“日志管理”頁面選擇目標日志組和日志流。
-
在日志流詳情頁面,單擊右上角
,在彈出頁面中,選擇“云端結構化解析”,進入日志結構化配置頁面,選擇對應的日志提取方法進行配置。結構化后的日志數據可理解為數據庫中的二維表,接下來就可以使用SQL語句對提取的字段進行查詢與分析。
說明如果結構化后的字段長度超過20k字節時,僅會保留前20k字節長度。
結構化不支持的系統字段包括:groupName、logStream、lineNum、content、logContent、logContentSize、collectTime、category、clusterId、clusterName、containerName、hostIP、hostId、hostName、nameSpace、pathFile、podName。
-
開啟自定義日志時間。
-
完成后,單擊“保存”。
修改結構化配置
結構化配置創建完成后,如果您需要修改結構化配置時,操作步驟如下:
-
在結構化配置頁面中,單擊
,可修改結構化配置。說明修改結構化配置支持修改結構化方式、日志提取字段和tag字段等。
系統模板不支持修改。
-
完成后,單擊“保存”。
刪除結構化配置
如果日志結構化配置不再使用,可以刪除結構化配置,操作步驟如下:
-
在結構化配置頁面中,單擊
,可刪除結構化配置。 -
在彈出對話框中,單擊“確定”。
說明刪除結構化配置后,無法恢復,請謹慎操作。
,在彈出頁面中,選擇“云端結構化解析”,進入日志結構化配置頁面,選擇對應的日志提取方法進行配置。
,可修改結構化配置。
,可刪除結構化配置。