Logstash類型的集群支持通過配置中心,修改logstash的配置文件,從不同的數據源(input)遷移數據到不同的目的端(output)。
連通性測試
在使用Logstash集群遷移數據時,可以先測試下數據源和Logstash集群的網絡是否連通。用戶也可以輸入數據輸出端(output)的IP地址或域名和端口號,測試該Logstash集群和數據輸出端的網絡是否連通。
1.登錄云搜索服務管理控制臺。
2.在“集群管理”頁面,選擇Logstash類型集群,單擊需要配置數據導入導出文件的集群名稱,進入集群基本信息頁面,選擇“配置中心”,或者直接單擊目標集群操作列的“配置中心”,進入配置中心頁面。
3.在配置中心頁面,選擇“連通性測試”。
4.輸入數據來源的IP地址或域名和端口號,單擊“測試”。
連通性測試

說明連通性測試最多可一次性測試10個IP地址或域名。您可以單擊“繼續添加”,添加多個IP地址或域名,然后單擊“批量測試”,進行一次性測試多個IP地址或域名的連通性。
創建配置文件
1.登錄云搜索服務管理控制臺。
2.在“集群管理”頁面,選擇Logstash類型集群,單擊需要配置數據導入導出文件的集群名稱,進入集群基本信息頁面,選擇“配置中心”頁簽,進入配置中心頁面;或者直接單擊目標集群操作列的“配置中心”,進入配置中心頁面。
3.單擊右上角“創建”,進入創建配置文件頁面。
您可以選擇系統模板或者自定義模板方式創建,也可以直接進行創建配置文件。
?如果選擇模板方式,可以直接單擊對應的模板操作列的“應用”,然后在“名稱”、“配置文件內容”和“隱藏內容列表”中進行命名和修改。
目前支持的系統模板類型有:
elasticsearch:從Elasticsearch類型集群導入數據到Elasticsearch類型集群。
?如果直接創建配置文件,在“名稱”和“配置文件內容”參數中直接輸入對應內容即可。創建的配置文件內容大小不能超過100k。支持創建配置文件個數不超過50個。
?隱藏內容列表:輸入需要隱藏的敏感字串列表,按Enter創建;配置隱藏字符串列表后,在返回的配置內容中,會將所有在列表中的字串隱藏為***(列表最大支持20條,單個字串最大長度512字節)。
4.配置完成后,單擊“下一頁”,配置參數。
配置文件在遷移數據時管道中的配置。
參數說明
| 參數 | 說明 |
|---|---|
| pipeline.workers | 并行執行管道的Filters+Outputs階段的工作線程數,默認值為CPU核數,建議取值為1-20之間。 |
| pipeline.batch.size | 單個工作線程在嘗試執行其Filters和Outputs之前將從inputs收集的最大事件數,該值較大通常更有效,但會增加內存開銷,默認為125。 |
| pipeline.batch.delay | 創建管道事件批時,在將過小的批調度到管道工作線程之前,等待每個事件的時間(以毫秒為單位),默認值為50。 |
| queue.type | 用于事件緩沖的內部隊列模型。memory為基于內存的傳統隊列,persisted為基于磁盤的ACKed持久化隊列,默認值為memory。 |
| queue.checkpoint.writes | 如果使用持久化隊列,則表示強制執行檢查點之前寫入的最大事件數,默認值為1024。 |
| queue.max_bytes | 如果使用持久化隊列,則表示持久化隊列的總容量,確保磁盤的容量大于該值,默認值為1024。 單位:MB。 |
5.配置完成后,單擊“創建”。
在配置中心頁面可以看到創建的配置文件,狀態為“可用”,表示創建成功。您還可以在操作列對創建的配置文件進行編輯、添加到自定義模板、刪除等操作。
?編輯:單擊操作列的“編輯”,可以修改配置文件的內容及配置參數。
?添加到自定義模板:可以將當前創建的配置文件,作為模板添加到自定義模板中,方便下次創建配置文件時使用。
?刪除:如果不需要此配置文件,可以通過操作列進行刪除。
說明您也可以單擊“操作記錄”或“運行日志”,查看配置文件的相關操作記錄和運行日志信息。
啟動配置文件
配置文件創建完成后,在配置中心頁面可以看到創建成功的配置文件。
1.選擇需要啟動的配置文件,單擊左上角的“啟動”。
配置文件可以同時選擇多個進行啟動,一次不能超過50個。
2.在“啟動Logstash服務”對話框中,根據業務需要,選擇“是否保持常駐”。
開啟“保持常駐”適用于需要長期運行的業務,開啟“保持常駐”以后,將會在每個節點上面配置一個守護進程,當logstash服務出現故障的時候,會主動拉起并修復。“保持常駐”不適用于短期運行的業務,短期業務開啟保持常駐,如果源端無數據,會導致任務失敗。
3.單擊“確定”,開始啟動配置文件。
可以在管道列表看到啟動的配置文件。
說明您也可以單擊“操作記錄”或“運行日志”,查看配置文件的相關操作記錄和運行日志信息。
熱啟動配置文件
Logstash服務已在運行時,可以選擇熱啟動功能增加管道。
說明l? 使用logstash stdin插件的配置文件禁止使用熱啟動功能。
l? 使用熱啟動功能時,如果配置文件熱啟動失敗且導致logstash進程異常退出,會進行恢復機制重新啟動原logstash進程,請謹慎操作。
l? 只能選擇一個配置文件進行熱啟動,且在管道列表中狀態為“工作中”的配置數量小于20個。
1.選擇一個需要熱啟動的配置文件,單擊左上角的“熱啟動”。
對話框中“是否保持常駐”的值默認與管道列表中的“是否保持常駐”值保持一致。
2.單擊“確定”,開始熱啟動配置文件。
可以在管道列表看到熱啟動的配置文件。
熱停止配置文件
Logstash服務已在運行時,可以選擇熱停止功能移除某個管道。
1.在管道列表選擇一個需要熱停止的配置,單擊管道列表上方的“熱停止”。
2.根據對話框提示,單擊“確定”。
熱停止成功則可以看到管道列表中目標配置已被移除且該管道數據遷移中斷。
停止全部配置文件
如果需要停止管道列表中全部配置文件的數據遷移,單擊管道列表上方的“全部停止”。
根據對話框提示,單擊“確定”,選擇停止的所有管道會造成數據遷移中斷。
全部停止成功則可以看到全部管道停止數據遷移。