Logstash是一個開源的服務器端實時數據處理工具，支持從多個數據源中提取數據，經過處理后將數據導入到Elasticsearch中。它非常適合處理流數據，如日志、監控數據和指標數據。

適用場景

日志數據、監控數據、流數據等。

前提條件

• 已經開通天翼云云搜索Elasticsearch實例。
• 已經部署Logstash且打通和Elasticsearch實例之間的網絡。

Logstash配置

Logstash可以接收很多數據源，可以根據實際的需求配置。

這里使用Filebeat作為Logstash的輸入。

配置your_logstash.conf管道文件。

Logstash需要接收Filebeat的輸出并進行處理，示例配置如下：

input {
  beats {
    port => 5044
  }
}

# 對數據進行處理。
filter {
    # mutate {
    #   remove_field => ["@version"]
    # }
}

output{
     elasticsearch{
       # Elasticsearch實例的訪問地址。
       hosts =>  ["//{ip}:{port}", "//{ip}:{port}", "//{ip}:{port}"]
       # 訪問Elasticsearch實例的用戶名和密碼，如無安全機制可不配置。
       user => "********"
       password => "********"
       # 配置寫入的索引名,示例如下。
       index => "filebeat-logstash-es-%{+YYYY.MM.dd}"
     }
 }

啟動Logstash導入數據

可以使用下面的命令在命令行來啟動Logstash導入數據：

./bin/logstash -f your_logstash.conf