告警解釋
系統每30秒周期性檢測總副本預留磁盤空間所占比率(總副本預留磁盤空間/(總副本預留磁盤空間+總剩余的磁盤空間)),并把實際的總副本預留磁盤空間所占比率和閾值(默認為90%)相比較。當檢測到總副本預留磁盤空間所占比率連續多次(平滑次數)高于閾值時,產生該告警。
如果平滑次數為1,總副本預留磁盤空間所占比率小于或等于閾值時,告警恢復;如果平滑次數大于1,總副本預留磁盤空間所占比率小于或等于閾值的90%時,告警恢復。
告警屬性
| 告警ID | 告警級別 | 是否自動清除 |
|---|---|---|
| 14023 | 次要 | 是 |
告警參數
| 參數名稱 | 參數含義 |
|---|---|
| 來源 | 產生告警的集群名稱。 |
| 服務名 | 產生告警的服務名稱。 |
| 角色名 | 產生告警的角色名稱。 |
| NameService名 | 產生告警的NameService名稱。 |
| Trigger condition | 系統當前指標取值滿足自定義的告警設置條件。 |
對系統的影響
HDFS集群磁盤容量不足,會影響到HDFS的數據寫入。如果DataNode的剩余空間都已經給副本預留,則寫入HDFS數據失敗。
可能原因
- 告警閾值配置不合理。
- HDFS集群配置的磁盤空間不足。
- HDFS的業務訪問量太大,超過了已有DataNode的負載能力。
處理步驟
查看閾值設置是否合理
1.在FusiongInsight Manager首頁,選擇“運維 > 告警 > 閾值設置 > 待操作集群的名稱 > HDFS > 磁盤 > 總副本預留磁盤空間所占比率”,查看該告警閾值設置是否合理(默認90%為合理值,用戶可以根據自己的實際需求調節)。
- 是,執行步驟4。
- 否,執行步驟2。
2.根據實際服務的使用情況,在“運維 > 告警 > 閾值設置 > 待操作集群的名稱 > HDFS > 磁盤 > 總副本預留磁盤空間所單擊率”頁面單擊“修改”更改閾值。
3.等待5分鐘,檢查該告警是否恢復。
- 是,處理完畢。
- 否,執行步驟4。
查看是否有磁盤空間不足告警
4.在FusionInsight Manager首頁,選擇“運維 > 告警 > 告警”查看是否存在告警“ALM-14001 HDFS磁盤空間使用率超過閾值”或“ALM-14002 DataNode磁盤空間使用率超過閾值”。
- 是,執行步驟5。
- 否,執行步驟7。
5.參考“ALM-14001 HDFS磁盤空間使用率超過閾值”或“ALM-14002 DataNode磁盤空間使用率超過閾值”進行處理,查看對應告警是否清除。
- 是,步驟6。
- 否,步驟7。
6.等待5分鐘,檢查該告警是否恢復。
- 是,處理完畢。
- 否,執行步驟7。
對DataNode進行擴容
7.對DataNode進行擴容。
8.等待5分鐘,檢查該告警是否恢復。
- 是,處理完畢。
- 否,執行步驟9。
收集故障信息
9.在FusionInsight Manager首頁,選擇“運維 > 日志 > 下載”。
10.在“服務”中勾選待操作集群的“HDFS”。
11.單擊右上角的
設置日志收集的“開始時間”和“結束時間”分別為告警產生時間的前后20分鐘,單擊“下載”。
12.請聯系運維人員,并發送已收集的故障日志信息。
告警清除
此告警修復后,系統會自動清除此告警,無需手工清除。
參考信息
無。