云日志服務提供可擴展、高可用的數據加工服務。數據加工服務可用于日志的規整、富化、流轉、脫敏和過濾等。

加工流程

日志加工服務通過如下三個步驟完成加工處理。

1. 通過消費組對源日志單元的已分詞日志進行讀取。
2. 通過加工規則對讀取到的每一條分詞日志進行加工處理。
3. 將加工后的日志寫入目標日志單元。加工完成后，您可以在目標日志單元中查看加工后的日志。

功能特性

• 數據規整：由于日志數據通常來自于不同的系統組件、應用程序或設備，其格式和結構可能各異，導致在對日志數據進行分析、搜索和可視化時出現困難。數據規整可針對混亂格式的日志進行字段提取、格式轉換，統計為一致性格式以便后續的處理與分析。
• 數據脫敏：對日志數據中的敏感信息（如密碼、手機號、地址等）進行脫敏。
• 數據過濾：針對關鍵業務或服務的日志進行過濾，用于后續重點分析等場景。

加工語法

加工DSL是云日志服務數據加工使用的與Python兼容的腳本（Domain Specific Language），提供了200多個內置函數，包括流程控制函數、事件操作函數、字段操作函數等。