告警解釋
系統每30秒周期性檢測HDFS集群處于故障狀態的DataNode數量，并把實際的故障狀態的DataNode數量和閾值相比較。故障狀態的DataNode數量指標默認提供一個閾值范圍。當HDFS集群故障狀態的DataNode數量超出閾值范圍時，產生該告警。
用戶可通過“運維 > 告警 > 閾值設置 > 待操作集群的名稱 > HDFS”修改閾值。
平滑次數為1，故障狀態的DataNode數量小于或等于閾值時，告警恢復；平滑次數大于1，故障狀態的DataNode數量小于或等于閾值的90%時，告警恢復。
告警屬性
| 告警ID | 告警級別 | 是否自動清除 |
|---|---|---|
| 14009 | 重要 | 是 |
告警參數
| 參數名稱 | 參數含義 |
|---|---|
| 來源 | 產生告警的集群名稱。 |
| 服務名 | 產生告警的服務名稱。 |
| 角色名 | 產生告警的角色名稱。 |
| 主機名 | 產生告警的主機名。 |
| NameService名 | 產生告警的NameService名稱。 |
| Trigger condition | 系統當前指標取值滿足自定義的告警設置條件。 |
對系統的影響
故障狀態的DataNode節點無法提供HDFS服務。
可能原因
- DataNode故障或者負荷過高。
- NameNode和DataNode之間的網絡斷連或者繁忙
- NameNode負荷過高。
- DataNode被刪除后，沒有重啟NameNode。
處理步驟
查看DataNode是否故障
1.在FusionInsight Manager首頁，選擇“集群 > 待操作集群的名稱 > 服務 > HDFS”。
2.在“基本信息”區域，單擊“NameNode(主)”，進入HDFS WebUI頁面。
說明admin用戶默認不具備其他組件的管理權限，如果訪問組件原生界面時出現因權限不足而打不開頁面或內容顯示不全時，可手動創建具備對應組件管理權限的用戶進行登錄。
3.在HDFS WebUI，單擊“Datanodes”頁簽，在“In operation”區域，打開“Filter”下拉菜單，查看是否有“down”選項。
- 是，選擇“down”，記錄篩選出的DataNode節點的信息，執行步驟4。
- 否，執行步驟8。
4.在FusionInsight Manager首頁，選擇“集群 > 待操作集群的名稱 > 服務 > HDFS > 實例”，在實例列表中，檢查已記錄的DataNode節點是否存在。
- 所有已記錄的DataNode節點都存在時，執行步驟5。
- 所有已記錄的DataNode節點都不存在時，執行步驟6。
- 部分已記錄的DataNode節點存在時，執行步驟7。
5.勾選對應的DataNode實例，選擇“更多 > 重啟實例”進行重啟，重啟結束后，查看本告警是否恢復。
- 是，處理完畢。
- 否，執行步驟8。
6.勾選所有的NameNode實例，選擇“更多 > 滾動重啟實例”進行重啟，重啟結束后，查看本告警是否恢復。
- 是，處理完畢。
- 否，執行步驟16。
7.勾選所有的NameNode實例，選擇“更多 > 滾動重啟實例”進行重啟。重啟完成后，勾選對應的DataNode實例，選擇“更多 > 重啟實例”進行重啟，重啟結束后，查看本告警是否恢復。
- 是，處理完畢。
- 否，執行步驟8。
查看NameNode和DataNode之間的網絡情況
8.以root用戶登錄管理頁面上存在且處于故障狀態DataNode的業務平面IP節點，執行ping NameNode的IP地址命令以檢查DataNode和NameNode之間的網絡是否異常。
在FusionInsight Manager界面，單擊“集群 > 待操作集群的名稱 > 服務 > HDFS > 實例”，在實例列表中可查看處于故障狀態DataNode的業務平面IP地址。
- 是，執行步驟9。
- 否，執行步驟10。
9.修復網絡故障，查看該告警是否恢復。
- 是，處理完畢。
- 否，執行步驟10。
查看DataNode是否負荷過高
10.在FusionInsight Manager首頁，單擊“運維 > 告警 > 告警”，查看否存在“ALM-14008 HDFS DataNode內存使用率超過閾值”的告警。
- 是，執行步驟11。
- 否，執行步驟13。
11.參考“ALM-14008 HDFS DataNode內存使用率超過閾值”的處理步驟，對該異常告警進行處理，查看是否消除該告警。
- 是，執行步驟12。
- 否，執行步驟13。
- 在告警列表中查看本告警是否恢復。
- 是，處理完畢。
- 否，執行步驟13。
查看NameNode是否負荷過高
13.在FusionInsight Manager首頁，單擊“運維 > 告警 > 告警”，查看是否存在“ALM-14007 HDFS NameNode內存使用率超過閾值”的告警。
- 是，執行步驟14。
- 否，執行步驟16。
14.參考“ALM-14007 HDFS NameNode內存使用率超過閾值”的處理步驟，對該異常告警進行處理，查看是否消除告警。
- 是，執行步驟15。
- 否，執行步驟16。
15.在告警列表中查看本告警是否恢復。
- 是，處理完畢。
- 否，執行步驟16。
收集故障信息
16.在FusionInsight Manager首頁，單擊“運維 > 日志 > 下載”。
17.在“服務”中勾選待操作集群的“HDFS”。
18.單擊右上角的
設置日志收集的“開始時間”和“結束時間”分別為告警產生時間的前后10分鐘，單擊“下載”。
19.請聯系運維人員，并發送已收集的故障日志信息。
告警清除
此告警修復后，系統會自動清除此告警，無需手工清除。
參考信息
無。
