創建管道
更新時間 2025-05-30 16:55:15
最近更新時間: 2025-05-30 16:55:15
分享文章
本文為您介紹如何通過配置管道信息，從指定數據源（input）遷移數據到目標目的端（output）。
Logstash實例通過配置管道定義數據處理方案，從指定的數據源（input）遷移數據到目標目的端（output）。
約束限制
創建的管道文件大小不能超過50KB。
前提條件
創建管道前，必須先獲取數據源和目的端的服務器或集群信息，例如IP地址、用戶名、密碼等。
創建管道
登錄云搜索服務管理控制臺。
左側導航欄選擇“Logstash實例管理”，進入實例列表頁面。
在實例列表，單擊實例名稱，進入實例基本信息頁面，在左側導航欄選擇“管道管理”，進入管道管理頁面。
單擊右上角“新建管道”，進入新建管道頁面，編輯管道文件&參數。
參數 | 說明 |
|---|---|
管道名稱 | 自定義管道名稱，實例內不可重復 |
管道描述 | 作業管道的描述信息，非必填 |
管道工作線程數 | 并行執行管道的Filters和Outputs階段的工作線程數。 |
管道批處理大小 | 每個批次處理的最大事件數量 |
管道批處理延遲 | 當管道批處理大小不滿足時，每個批次最大的等待時間，單位為毫秒 |
隊列類型 | 用于事件緩沖的排隊模型，可選值為： memory：基于內存的隊列 persisted：基于磁盤的持久化隊列 |
隊列最大字節數 | 當選擇 persisted 隊列類型時，隊列中可存放的最大字節數量，需確保該值小于實例單節點的磁盤容量 |
隊列檢查點寫入數 | 當選擇 persisted 隊列類型時，在強制執行檢查點時已寫入的最大的事件數量，若設置為0，則表示無限制 |
編輯完成的管道需要單擊保存或者保存并部署，部署后的管道才會生效。
