一、Elasticsearch介紹

Elasticsearch是一個分(fen)布式、可擴展、近(jin)實時的(de)高性能(neng)搜索與(yu)數據分(fen)析引擎。

Elasticsearch的特點(dian)和優勢：

• 分布式實時文件存儲
• 實時分析的分布式搜索引擎，多分片多副本
• 高可擴展性，可擴展到上百臺服務器.
• 可插拔插件支持

1、數據搜索方式

數據(ju)類型：結(jie)構化(hua)數據(ju)和(he)非結(jie)構化(hua)數據(ju)

搜索類型：結構化數據搜索和非(fei)結構化數據搜索

結(jie)構化數據搜(sou)索：順序掃描、關(guan)鍵詞精確匹(pi)配(pei)、關(guan)鍵詞部分匹(pi)配(pei)

非結構化數據搜索：順序掃描、全文(wen)檢(jian)索

全(quan)文(wen)檢索是一種空(kong)間(jian)換時間(jian)的做法---數據索引創建消(xiao)耗時間(jian)和空(kong)間(jian)

2、倒排索引

詞(ci)條（Term）、詞(ci)典（Term Direction）、倒排表(biao)（Post List）

詞條：是(shi)索引里面最小(xiao)的(de)存儲和查詢(xun)單位，一般指一個單詞或中文(wen)中分詞后的(de)詞組(zu)

詞典：是詞條的集合

倒排表：

文檔ID

詞頻TF，該單詞在文檔中出現的次數，用于相關性評分

位置position 單詞在文檔分詞中的位置，用于短語搜索（phrase query）

偏移（offset) 記錄單詞的開始結束位置，實現高亮(liang)顯示

指定某些字段不做索引：

優點：節省存儲空間

缺點：字段無法(fa)被搜索

二、基本概念

• Node和Cluster

Elastic是一(yi)個(ge)(ge)分布(bu)式的(de)，允許多(duo)(duo)臺服(fu)務(wu)器(qi)協同工作，每臺服(fu)務(wu)器(qi)可以運行多(duo)(duo)個(ge)(ge)Elastic實(shi)例(li)。單個(ge)(ge)Elastic實(shi)例(li)稱為一(yi)個(ge)(ge)節(jie)點(node)。一(yi)組(zu)節(jie)點構成一(yi)個(ge)(ge)集群(qun)（Cluster），集群(qun)由具有相同cluster.name的(de)一(yi)個(ge)(ge)或多(duo)(duo)個(ge)(ge)節(jie)點組(zu)成。節(jie)點的(de)狀態：Green、Yellow和Red三種狀態

• Index

索(suo)引(yin)，ES存儲數(shu)據的地(di)方(fang)，類(lei)似于關系數(shu)據庫(ku)的Database。文檔(dang)的容器

• Shards

索引分片， 是ES提供分布式搜索的基礎，其含義是為將一個完整的index分成若干個部分存儲在相同或者不同節點上，這些組成index的部分就叫做shard。當查詢的索引分布在多個分片時，ES會把查詢發送給每個相關的分片，并將結果組合起來，應用程序不知道分片的存在，這個過程對用戶來說是透明的。創建索引時需要指定分片的數量，并且分片的數量一旦確定就不能更改。除非reindex。一個分片就是一個運行的Lucene實例
分片設置過小，導致后續無法水平擴展，單分片數據量大，導致數據重新分配耗時
分片設置過(guo)大，影(ying)響搜索結(jie)(jie)果的相(xiang)關(guan)性(xing)打分，影(ying)響統計結(jie)(jie)果的準確性(xing)，單個節點(dian)上分片過(guo)多，導致(zhi)資(zi)源浪費(fei)，影(ying)響性(xing)能(neng)。

• Replicas

索引(yin)副(fu)本，ES可(ke)以(yi)設(she)置多(duo)個(ge)(ge)索引(yin)的(de)(de)副(fu)本，副(fu)本的(de)(de)作(zuo)用一(yi)是(shi)提(ti)高(gao)系統的(de)(de)容錯(cuo)性，當(dang)某個(ge)(ge)節點或者某個(ge)(ge)分(fen)片(pian)損壞或者丟(diu)失時可(ke)以(yi)從副(fu)本中恢復。二是(shi)提(ti)供ES的(de)(de)查詢效(xiao)率，ES會自動(dong)對搜索請求進行負(fu)載均(jun)衡(heng)。主分(fen)片(pian)不可(ke)用時，會從備(bei)份中選(xuan)一(yi)個(ge)(ge)分(fen)片(pian)作(zuo)為主分(fen)片(pian)，從而避免數據(ju)丟(diu)失。副(fu)本數量(liang)過多(duo)，會導(dao)致(zhi)同步數據(ju)的(de)(de)性能損耗。

• Recovery

數(shu)(shu)據恢(hui)復或(huo)者叫(jiao)數(shu)(shu)據重(zhong)新分布，ES在(zai)有節點加(jia)入或(huo)退(tui)出時會根據機器(qi)的負載對索引(yin)分片進(jin)行(xing)重(zhong)新分配(pei)，掛掉的節點重(zhong)新啟動時也會進(jin)行(xing)數(shu)(shu)據的恢(hui)復。

• Gateway

ES索引快(kuai)照(zhao)的存儲方(fang)式，ES默(mo)認(ren)是先(xian)把索引存放(fang)在內(nei)存中，當(dang)內(nei)存滿(man)了(le)時(shi)再持久化到(dao)本(ben)地(di)硬盤。gateway對(dui)索引快(kuai)照(zhao)進行(xing)存儲，當(dang)這個ES集群關閉再重新(xin)啟動時(shi)就會從gateway中讀取(qu)索引備(bei)份數據。

• Discovery.zen

ES的(de)(de)(de)自動發現節(jie)點(dian)機制，ES是一個(ge)基于p2p的(de)(de)(de)系統(tong)，它先通過廣播尋找存在的(de)(de)(de)節(jie)點(dian)，再通過多播協議來進行節(jie)點(dian)之間(jian)的(de)(de)(de)通信，同(tong)時支持點(dian)對點(dian)的(de)(de)(de)交互。

• Document

Index里面單條的記錄稱為(wei)Document(文檔)。許多條Document構(gou)成一(yi)個Index。Documnet使(shi)用(yong)JSON格式表(biao)示。每個文檔有一(yi)個UniqueID，可以自己指定或(huo)者ES自動生成。

• Setting

  對集群中索引(yin)的定(ding)義信息，比(bi)如分片數、副本數

• Mapping

  保存(cun)了定(ding)義索引中字(zi)段的存(cun)儲類(lei)型、分詞(ci)方式、是否存(cun)儲等信息，字(zi)段信息一旦創(chuang)建(jian)就無法修改，只能新加字(zi)段

• Analyzer

  默認(ren)的(de)標準Analyzer包含一(yi)個標準的(de)Tokenizer和三個Filter組(zu)成。即Standard Token Filter、Lower Case Token Filter和Stop Token Filter