優化寫入性能

優化Elasticsearch集群的寫入性能是確保數據高效、快速存儲的關鍵。以下是一些方法和最佳實踐，可以幫助提高Elasticsearch集群的寫入性能。

合適的副本數

默認情況下，Elasticsearch索引有1個副本。為了提高寫入性能，可以減少副本數，因為每個副本會占用額外的寫入資源。然而，減少副本數會降低數據的高可用性，需要在性能和可用性之間進行權衡。

分片數量

索引的分片數量會影響寫入性能。一般來說，更多的分片可以提高并行寫入的性能，但過多的分片也會導致資源浪費。建議基于數據規模合理設置分片數量，并根據實際情況進行調整。

刷新間隔（refresh interval）

index.refresh_interval：索引刷新間隔，被索引的文檔在該間隔后才能被查詢到，默認的刷新間隔為1秒。對于實時性要求不高的場景，可以通過增加刷新間隔來減少Elasticsearch對磁盤的頻繁寫入，從而提高寫入性能。將index.refresh_interval設置為較長的時間，例如30s或60s，但要注意這會延遲數據的可見性。

合并策略

使用index.merge.scheduler.max_thread_count參數來控制合并的線程數，合理配置可以減輕寫入時的磁盤I/O壓力。

批量寫入（Bulk API）

使用Bulk API可以將多個文檔的寫入請求批量處理，減少網絡和資源開銷。推薦將每批次的文檔數量控制在合理范圍（如500-1000個文檔），以平衡單次請求的大小和系統的穩定性。

避免嵌套文檔和父子關系

如果可能，盡量避免使用嵌套文檔和父子關系，因為這些操作會增加寫入的復雜度和資源消耗。

優化查詢性能

文檔結構設計

• 避免使用過多的嵌套結構和過深的嵌套字段。嵌套文檔雖然可以滿足復雜的數據結構需求，但會顯著增加查詢的復雜度和時間。
• 盡量使用扁平化的數據模型，這樣可以減少在查詢時的計算和數據加載時間。

合適的字段類型

• 根據需要選擇正確的字段類型。例如，數值類型字段（integer、float等）比字符串類型字段更容易索引和查詢，查詢速度也更快。
• 對于大文本字段，考慮使用text類型，并結合keyword字段來處理精確匹配的需求。

優化映射

• 禁用不需要的字段索引，例如，通過將不需要搜索的字段設置為index: false，可以減少索引的大小和查詢時的開銷。
• 合理使用doc_values，將其關閉以減少內存使用，但在需要進行排序或聚合的字段上仍然保持開啟。

查詢合并與簡化

• 盡量合并多個查詢條件，避免過多的布爾查詢（bool query）和過濾器（filter）。這不僅可以減少查詢的復雜度，還能降低查詢的時間開銷。
• 在查詢中使用filter而非query來過濾不影響得分計算的條件，因為filter查詢不會計算相關性得分，性能更高。

緩存利用

• 利用Elasticsearch的緩存機制，例如request cache和filter cache，對經常使用的查詢進行緩存，以減少查詢響應時間。
• 對于相同或類似的查詢，使用_cache選項啟用緩存，例如在bool查詢的filter部分。

分頁優化

• 使用search_after而非from+size進行深分頁。from+size在深度分頁時的性能較差，因為它需要跳過大量數據。
• 使用scroll API來處理需要大量數據返回的場景，如全量導出，但要注意scroll在返回大量數據時的性能開銷。

聚合優化

• 僅在必要時使用聚合查詢，因為聚合查詢通常計算開銷較大。合理使用bucket和metric聚合，避免不必要的聚合操作。
• 使用composite聚合替代terms聚合處理大量唯一值時的場景，composite聚合可以分步處理并返回更穩定的結果。