告警解釋
系統每30秒周期性檢測不健康NodeManager節點，并把不健康節點數和閾值相比較。“不健康的節點數”指標默認提供一個閾值。當檢測到“不健康的節點數”的值超出閾值時產生該告警。
用戶可通過選擇“集群 > 待操作集群的名稱 > 服務 > Yarn >配置 > 全部配置”，修改“yarn.nodemanager.unhealthy.alarm.threshold”的值來配置閾值（修改該參數不用重啟Yarn，就可以生效）。
閾值默認為零，當不健康節點數超過該值時，觸發告警，小于閾值時會自動消除告警。
告警屬性
| 告警ID | 告警級別 | 是否自動清除 |
|---|---|---|
| 18003 | 重要 | 是 |
告警參數
| 參數名稱 | 參數含義 |
|---|---|
| 來源 | 產生告警的集群名稱。 |
| 服務名 | 產生告警的服務名稱。 |
| 角色名 | 產生告警的角色名稱。 |
| 主機名 | 產生告警的主機名。 |
| Unhealthy Host | 不健康節點的主機列表。 |
對系統的影響
- 故障的NodeManager節點無法提供Yarn服務。
- 容器減少，集群性能下降。
可能原因
- NodeManager節點所在主機的硬盤空間不足。
- NodeManager節點本地目錄omm用戶無訪問權限。
處理步驟
檢查主機的硬盤空間
1.在FusionInsight Manager界面，選擇“運維 > 告警 > 告警”，在告警列表中找到當前告警，單擊
獲取告警詳細信息，在“附加信息”中獲取不健康狀態的節點。
2.選擇“集群 > 待操作集群的名稱 > 服務 > Yarn > 實例”，選擇對應主機的NodeManager實例，選擇“實例配置 > 全部配置”，搜索“yarn.nodemanager.local-dirs”和“yarn.nodemanager.log-dirs”對應的磁盤。
3.選擇“運維 > 告警 > 告警”，在告警列表中查看對應的磁盤是否存在“ALM-12017 磁盤容量不足”告警。
- 是，執行步驟4。
- 否，執行步驟5。
4.參考“ALM-12017 磁盤容量不足”操作步驟進行處理，故障恢復后，查看本告警是否恢復。
- 是，處理完畢。
- 否，執行步驟7。
5.選擇“主機 > 待查看的主機名稱 ”，在主機的概覽頁面查看對應分區的磁盤使用情況。檢查掛載磁盤使用空間百分比是否已經超過Yarn參數“yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage”所配置的值。
- 是，執行步驟6。
- 否，執行步驟7。
6.將磁盤使用率降到該配置值以下，等待10-20分鐘，然后檢查該告警是否恢復。
- 是，處理完畢。
- 否，執行步驟7。
檢查NodeManager節點本地目錄的訪問權限
7.獲取步驟2中查看到的NodeManager目錄，以root用戶登錄每個NodeManager節點，并進入獲取到的目錄。
8.執行ll命令查看對應localdir的文件夾和containerlogs文件夾權限，確認權限是否是“755”，且“用戶:屬組”是否為“omm:ficommon”。
- 是，處理完畢。
- 否，執行步驟9。
9.執行如下命令將文件夾權限修改為“755”，并將“用戶:屬組”修改為“omm:ficommon”。
chmod 755 <folder_name>
chown omm:ficommon <folder_name>
10.等待10～20分鐘，檢查該告警是否恢復。
- 是，處理完畢。
- 否，執行步驟11。
收集故障信息
11.在主集群的FusionInsight Manager界面，選擇“運維 > 日志 > 下載”。
12.在“服務”中勾選待操作集群的“Yarn”。
13.單擊右上角的
設置日志收集的“開始時間”和“結束時間”分別為告警產生時間的前后10分鐘，單擊“下載”。
14.請聯系運維人員，并發送已收集的故障日志信息。
告警清除
此告警修復后，系統會自動清除此告警，無需手工清除。
參考信息
無。
