告警解釋

系統每60秒周期性檢測ZooKeeper服務狀態，當檢測到ZooKeeper服務不可用時產生該告警。

ZooKeeper服務恢復時，告警清除。

告警屬性

告警ID	告警級別	是否自動清除
13000	緊急	是

告警參數

參數名稱	參數含義
來源	產生告警的集群名稱。
服務名	產生告警的服務名稱。
角色名	產生告警的角色名稱。
主機名	產生告警的主機名。

對系統的影響

ZooKeeper無法為上層組件提供協調服務，依賴ZooKeeper的組件可能無法正常運行。

可能原因

• ZooKeeper節點上安裝了DNS。
• 網絡故障。
• KrbServer服務異常。
• ZooKeeper實例狀態異常。
• 磁盤容量不足。

處理步驟

檢查DNS

1. 查看ZooKeeper實例所在節點上是否安裝DNS。在ZooKeeper實例所在Linux節點使用命令 cat /etc/resolv.conf ，看該文件是否為空。

• 是，執行步驟2。
• 否，執行步驟3。

2. 運行命令service named status查看DNS是否啟動。

• 是，執行步驟3。
• 否，執行步驟5。

3. 運行命令service named stop將DNS服務停掉，如果出現“Shutting down name server BIND waiting for named to shut down (28s)”結果，即說明DNS服務停止成功。然后將“/etc/resolv.conf”文件的內容（若不為空）全部注釋。
4. 在“運維 > 告警 > 告警”頁簽，查看該告警是否恢復。

• 是，處理完畢。
• 否，執行步驟5。

檢查網絡狀態

5. 在ZooKeeper實例所在Linux節點使用ping命令，看能否ping通其他ZooKeeper實例所在節點的主機名。

• 是，執行步驟9。
• 否，執行步驟6。

6. 修改“/etc/hosts”中的IP信息，添加主機名與IP地址的對應關系。
7. 再次執行ping命令，查看能否在該ZooKeeper實例節點ping通其他ZooKeeper實例節點的主機名。

• 是，執行步驟8。
• 否，執行步驟23。

8. 在“運維 > 告警 > 告警”頁簽，查看該告警是否恢復。

• 是，處理完畢。
• 否，執行步驟9。

檢查KrbServer 服務狀態（普通模式集群跳過此步驟）

9. 在FusionInsight Manager首頁，選擇“集群 > 待操作集群的名稱 > 服務”。
10. 查看KrbServer服務是否正常。

• 是，執行步驟13。
• 否，執行步驟11。

11. 參考“ALM-25500 KrbServer服務不可用”進行處理，查看KrbServer服務是否能夠恢復。

• 是，執行步驟12。
• 否，執行步驟23。

12. 在“運維 > 告警 > 告警”頁簽，查看該告警是否恢復。

• 是，處理完畢。
• 否，執行步驟13。

檢查ZooKeeper服務實例狀態

13. 在FusionInsight Manager首頁，選擇“集群 > 待操作集群的名稱 > 服務 >ZooKeeper > quorumpeer”。
14. 查看ZooKeeper各實例是否正常。

• 是，執行步驟18。
• 否，執行步驟15。

15. 選中運行狀態不為良好的實例，選擇“更多 > 重啟實例”。
16. 查看實例重啟后運行狀態是否為良好。

• 是，執行步驟17。
• 否，執行步驟18。

17. 在“運維 > 告警 > 告警”頁簽，查看該告警是否恢復。

• 是，處理完畢。
• 否，執行步驟18。

檢查磁盤狀態

18. 在FusionInsight Manager首頁，選擇“集群 > 待操作集群的名稱 > 服務 >ZooKeeper > quorumpeer”查看ZooKeeper實例所在的各節點主機信息。
19. 在FusionInsight Manager首頁，單擊“主機”。
20. 在“磁盤”列，檢查ZooKeeper實例所在的各節點數據磁盤空間是否不足（使用率超過百分之80）。

• 是，執行步驟21。
• 否，執行步驟23。

21. 參考“ALM-12017 磁盤容量不足”進行處理，對磁盤進行擴容。
22. 在“運維 > 告警 > 告警”頁簽，查看該告警是否恢復。

• 是，處理完畢。
• 否，執行步驟23。

收集故障信息

23. 在FusionInsight Manager界面，選擇“運維 > 日志 > 下載”。
24. 在“服務”中勾選待操作集群的如下節點信息。（普通模式集群不需要下載KrbServer日志。）

• ZooKeeper
• KrbServer

25. 單擊右上角的設置日志收集的“開始時間”和“結束時間”分別為告警產生時間的前后10分鐘，單擊“下載”。
26. 請聯系運維人員，并發送已收集的故障日志信息。

告警清除

此告警修復后，系統會自動清除此告警，無需手工清除。

參考信息

無。