單行正則模式
更新時間 2024-09-02 09:57:58
最近更新時間: 2024-09-02 09:57:58
分享文章
本文主要介紹結構化解析-單行正則模式。
概述
單行正則模式用于處理結構化的日志,針對僅包含一行內容的日志,您需要指定一個正則表達式,采集器按照正則表達式將一條完整日志提取為多個 key-value 鍵值。
示例
如您需要采集的原始數據為:
- 原始日志:
[17/May/2023:13:21:30 +0800] "GET /my/course/1 HTTP/1.1" 127.0.0.1 200 782 9703 "//www.daliqc.cn" "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:64.0) Gecko/20100101 Firefox/64.0" 0.354 0.354 - 配置自定義表達式為:
(\[[^:]+:\d+:\d+:\d+\s\S+)\s"(\w+)\s(\S+)\s([^"]+)"\s(\S+)\s(\d+)\s(\d+)\s(\d+)\s"([^"]+)"\s"([^"]+)"\s+(\S+)\s(\S+).* - 系統將根據正則表達式提取鍵值對,您需要為每個提取出來的值指定key名稱,同時會將原始日志內容存放在
__message__字段中,如下所示:body_bytes_sent: 9703 http_host: 127.0.0.1 http_protocol: HTTP/1.1 http_referer: //www.daliqc.cn http_user_agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:64.0) Gecko/20100101 Firefox/64.0 request_length: 782 request_method: GET request_time: 0.354 request_url: /my/course/1 status: 200 time_local: [17/May/2023:13:21:30 +0800] upstream_response_time: 0.354 __message__: [17/May/2023:13:21:30 +0800] "GET /my/course/1 HTTP/1.1" 127.0.0.1 200 782 9703 "//www.daliqc.cn" "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:64.0) Gecko/20100101 Firefox/64.0" 0.354 0.354
配置說明
在日志接入流程中-創建采集配置步驟中,按如下參數說明配置切割模式:
采集配置參數說明:
| 參數 | 描述 |
|---|---|
| 切割模式 | 針對原始日志執行分詞的模式,選擇“單行正則”。 |
| 日志樣例 | 輸入您需要采集的日志樣例。 |
| 正則表達式 | 輸入正則表達式,點擊【驗證】按鈕,系統將根據您輸入的正則表達式對日志樣例進行字段切割。 |
| 日志提取內容 | 根據正則表達式切割的結果會展示在日志提取內容中,您需要為每個字段定義唯一的 key。 |