告警解釋
系統每30秒周期性檢測DataNode磁盤空間使用率，并把實際磁盤使用率和閾值相比較。DataNode磁盤空間使用率指標默認提供一個閾值范圍。當檢測到DataNode磁盤空間使用率指標超出閾值范圍時產生該告警。
用戶可通過“運維 > 告警 > 閾值設置 > 待操作集群的名稱 > HDFS”修改閾值。
平滑次數為1，DataNode磁盤空間使用率指標的值小于或等于閾值時，告警恢復；平滑次數大于1，DataNode磁盤空間使用率指標的值小于或等于閾值的90%時，告警恢復。
告警屬性
| 告警ID | 告警級別 | 是否自動清除 |
|---|---|---|
| 14002 | 重要 | 是 |
告警參數
| 參數名稱 | 參數含義 |
|---|---|
| 來源 | 產生告警的集群名稱。 |
| 服務名 | 產生告警的服務名稱。 |
| 角色名 | 產生告警的角色名稱。 |
| 主機名 | 產生告警的主機名。 |
| Trigger condition | 系統當前指標取值滿足自定義的告警設置條件。 |
對系統的影響
DataNode容量不足，會影響到HDFS的數據寫入。
可能原因
- 集群磁盤容量已滿。
- DataNode節點間數據傾斜。
處理步驟
檢查集群磁盤容量是否已滿
1.在FusionInsight Manager首頁，選擇“運維 > 告警 > 告警”頁面，查看是否存在“ALM-14001 HDFS磁盤空間使用率超過閾值”告警。
- 是，執行步驟 2。
- 否，執行步驟 4。
2.參考“ALM-14001 HDFS磁盤空間使用率超過閾值”進行處理，查看對應告警是否清除。
- 是，執行步驟 3。
- 否，執行步驟11。
3.在“運維 > 告警 > 告警”頁面查看本告警是否清除。
- 是，處理完畢。
- 否，執行步驟4。
檢查DataNode節點平衡狀態
4.在FusionInsight Manager首頁，單擊“主機”，查看各個機架上的DataNode節點數目分布是否大致相等，如果差異過大，調整DataNode節點所屬機架，保證各個機架上的DataNode數量大致相等。重啟HDFS服務生效。
5.選擇“集群 > 待操作集群的名稱 > 服務 > HDFS”。
6.在“基本信息”區域，單擊“NameNode(主)”，進入HDFS WebUI頁面。
說明admin用戶默認不具備其他組件的管理權限，如果訪問組件原生界面時出現因權限不足而打不開頁面或內容顯示不全時，可手動創建具備對應組件管理權限的用戶進行登錄。
7.在HDFS WebUI的“Summary”區域，查看“DataNodes usages”中“Max”的值是否比“Median”的值大10%。
- l是，執行步驟 8。
- 否，執行步驟11。
8.數據傾斜，需要均衡集群中的數據。以root用戶登錄MRS客戶端。如果集群為普通模式，執行su - omm切換到omm用戶。執行cd命令進入客戶端安裝目錄，然后執行 source bigdata_env 。如果集群采用安全版本，要進行安全認證。執行kinit hdfs命令，按提示輸入密碼。向管理員獲取密碼。
9.執行以下命令，均衡數據分布：
hdfs balancer -threshold 10
10.等待幾分鐘，檢查本告警是否恢復。
- 是，處理完畢。
- 否，執行步驟 11。
收集故障信息
11.在FusionInsight Manager首頁，選擇“運維 > 日志 > 下載”。
12.在“服務”中勾選待操作集群的“HDFS”。
13.單擊右上角的
設置日志收集的“開始時間”和“結束時間”分別為告警產生時間的前后10分鐘，單擊“下載”。
14.請聯系運維人員，并發送已收集的故障日志信息。
告警清除
此告警修復后，系統會自動清除此告警，無需手工清除。
參考信息
無。
