告警解釋
系統每180秒周期性檢測NameService服務狀態,當檢測到NameService服務不可用時產生該告警。
NameService服務恢復時,告警清除。
告警屬性
| 告警ID | 告警級別 | 是否自動清除 |
|---|---|---|
| 14010 | 重要 | 是 |
告警參數
| 參數名稱 | 參數含義 |
|---|---|
| 來源 | 產生告警的集群名稱。 |
| 服務名 | 產生告警的服務名稱。 |
| 角色名 | 產生告警的角色名稱。 |
| 主機名 | 產生告警的主機名。 |
| NameService名 | 產生告警的NameService名稱。 |
對系統的影響
無法為基于該NameService服務的HBase和MapReduce等上層部件提供服務。用戶無法讀寫文件。
可能原因
- KrbServer服務異常。
- JournalNode節點故障。
- DataNode節點故障。
- 磁盤容量不足。
- NameNode節點進入安全模式。
處理步驟
檢查KrbServer服務狀態
1.在FusionInsight Manager首頁,選擇“集群 > 待操作集群的名稱 > 服務”。
2.查看KrbServer服務是否存在。
- 是,執行步驟3。
- 否,執行步驟6。
- 單擊“KrbServer”。
4.單擊“實例”。在KrbServer管理頁面,選擇故障實例,選擇“更多 > 重啟實例”。查看實例能否成功啟動。
- 是,執行步驟5。
- 否,執行步驟24。
5.在“運維 > 告警 > 告警”頁簽,查看該告警是否恢復。
- 是,處理完畢。
- 否,執行步驟6。
檢查JournalNode實例狀態
6.在FusionInsight Manager首頁,選擇“集群 > 待操作集群的名稱 > 服務”。
7.選擇“HDFS > 實例”。
8.在實例頁面中,查看JournalNode的“運行狀態”是否為“良好”。
- 是,執行步驟11。
- 否,執行步驟9。
9.選擇故障的JournalNode,選擇“更多 > 重啟實例”。查看JournalNode能否成功啟動。
- 是,執行步驟10。
- 否,執行步驟24。
10.在“運維 > 告警 > 告警”頁簽,查看該告警是否恢復。
- 是,處理完畢。
- 否,執行步驟11。
檢查DataNode實例狀態
11.在FusionInsight Manager首頁,選擇“集群 > 待操作集群的名稱 > 服務 > HDFS”。
12.單擊“實例”查看所有DataNode節點的“運行狀態”是否為“良好”。
- 是,執行步驟15。
- 否,執行步驟13。
13.單擊“實例”。在DataNode管理頁面,選擇故障DataNode,選擇“更多 > 重啟實例”。查看DataNode能否成功啟動。
- 是,執行步驟14。
- 否,執行步驟15。
14.在“運維 > 告警 > 告警”頁簽,查看該告警是否恢復。
- 是,處理完畢。
- 否,執行步驟15。
檢查磁盤狀態
15.在FusionInsight Manager首頁,選擇“集群 > 待操作集群的名稱 > 主機”。
16.在“磁盤”列,檢查磁盤空間是否不足。
- 是,執行步驟17。
- 否,執行步驟19。
17.對磁盤進行擴容。
18.在“運維 > 告警 > 告警”頁簽,查看該告警是否恢復。
- 是,處理完畢。
- 否,執行步驟19。
檢查NameNode節點是否進入安全模式
19.在FusionInsight Manager首頁,選擇“集群 > 待操作集群的名稱 > 服務 > HDFS”,單擊服務異常的NameService的“NameNode(主)”,顯示NameNode WebUI頁面。
說明admin用戶默認不具備其他組件的管理權限,如果訪問組件原生界面時出現因權限不足而打不開頁面或內容顯示不全時,可手動創建具備對應組件管理權限的用戶進行登錄。
20.在NameNode WebUI,查看是否顯示如下信息:“Safe mode is ON.”
“Safe mode is ON.”表示安全模式已打開,后面的提示信息為告警信息,根據實際情況展現。
- 是,執行步驟21。
- 否,執行步驟24。
21.以root用戶登錄客戶端。執行cd命令進入客戶端安裝目錄,然后執行 source bigdata_env 。如果集群采用安全版本,要進行安全認證,執行kinit hdfs命令,按提示輸入密碼(向管理員獲取密碼)。如果集群采用非安全版本,需使用omm用戶登錄并執行命令,請確保omm用戶具有客戶端執行權限。
22.執行 hdfs dfsadmin -safemode leave 。
23.在“運維 > 告警 > 告警”頁簽,查看該告警是否恢復。
- 是,處理完畢。
- 否,執行步驟24。
收集故障信息
24.在FusionInsight Manager首頁,選擇“運維 > 日志 > 下載”。
25.在“服務”中勾選待操作集群的如下節點信息。
- ZooKeeper
- HDFS
26.單擊右上角的
設置日志收集的“開始時間”和“結束時間”分別為告警產生時間的前后10分鐘,單擊“下載”。
27.請聯系運維人員,并發送已收集的故障日志信息。
告警清除
此告警修復后,系統會自動清除此告警,無需手工清除。
參考信息
無。