告警解釋

系統每30秒周期性檢測HDFS NameNode非堆內存使用率，并把實際的HDFS NameNode非堆內存使用率和閾值相比較。HDFS NameNode非堆內存使用率指標默認提供一個閾值范圍。當HDFS NameNode非堆內存使用率超出閾值范圍時，產生該告警。

用戶可通過“運維 > 告警 > 閾值設置 > 待操作集群的名稱 > HDFS”修改閾值。

當HDFS NameNode非堆內存使用率小于或等于閾值時，告警恢復。

告警屬性

告警參數

對系統的影響

HDFS NameNode非堆內存使用率過高，會影響HDFS的數據讀寫性能。

可能原因

HDFS NameNode配置的非堆內存不足。

處理步驟

清除無用文件

1.以root用戶登錄HDFS客戶端。執行cd命令進入客戶端安裝目錄，然后執行 source bigdata_env 。

如果集群采用安全版本，要進行安全認證。

執行kinit hdfs命令，按提示輸入密碼。向管理員獲取密碼。

2.執行hdfs dfs -rm -r 文件或目錄路徑命令，確認刪除無用的文件。

3.檢查本告警是否恢復。

• 是，處理完畢。
• 否，執行步驟4。

查看NameNode JVM非堆內存使用情況和當前配置

4.在FusionInsight Manager首頁，選擇“集群 > 待操作集群的名稱 > 服務 > HDFS”，彈出“HDFS 服務狀態”頁面。

5.在“基本信息”區域，單擊“NameNode(主)”，顯示HDFS WebUI頁面。

                
說明
                
admin用戶默認不具備其他組件的管理權限，如果訪問組件原生界面時出現因權限不足而打不開頁面或內容顯示不全時，可手動創建具備對應組件管理權限的用戶進行登錄。
              

6.在HDFS WebUI，單擊“Overview”頁簽，查看Summary部分顯示的HDFS中當前文件數量，目錄數量和塊數量信息。

7.在FusionInsight Manager首頁，選擇“集群 > 待操作集群的名稱 > 服務 > HDFS > 配置 > 全部配置”，在“搜索”中，輸入“GC_OPTS”，確定當前“HDFS->NameNode”的“GC_OPTS”非堆內存參數。

對系統進行調整

8.根據步驟6中的文件數據量和步驟7中NameNode配置的非堆參數，檢查當前配置的非堆內存是否不合理。

• 是，執行步驟9。
• 否，執行步驟12。

                
說明
                
HDFS的文件對象數量（filesystem objects=files+blocks）和NameNode配置的JVM參數的對應關系建議如下：
文件對象數量達到10,000,000，則JVM參數建議配置為：-Xms6G -Xmx6G -XX:NewSize=512M -XX:MaxNewSize=512M。
文件對象數量達到20,000,000，則JVM參數建議配置為：-Xms12G -Xmx12G -XX:NewSize=1G -XX:MaxNewSize=1G。
文件對象數量達到50,000,000，則JVM參數建議配置為：-Xms32G -Xmx32G -XX:NewSize=3G -XX:MaxNewSize=3G。
文件對象數量達到100,000,000，則JVM參數建議配置為：-Xms64G -Xmx64G -XX:NewSize=6G -XX:MaxNewSize=6G。
文件對象數量達到200,000,000，則JVM參數建議配置為：-Xms96G -Xmx96G -XX:NewSize=9G -XX:MaxNewSize=9G。
文件對象數量達到300,000,000，則JVM參數建議配置為：-Xms164G -Xmx164G -XX:NewSize=12G -XX:MaxNewSize=12G。
              

9.按照文件對象數量和非堆內存對應關系，對NameNode的“GC_OPTS”參數進行修改。

10.保存配置，選擇“概覽 > 更多 > 重啟服務”。

11.檢查本告警是否恢復。

• 是，處理完畢。
• 否，執行步驟12。

收集故障信息

12.在FusionInsight Manager首頁，選擇“運維 > 日志 > 下載”。

13.在“服務”中勾選待操作集群的如下服務。

• ZooKeeper
• HDFS

14.單擊右上角的設置日志收集的“開始時間”和“結束時間”分別為告警產生時間的前后10分鐘，單擊“下載”。

15.請聯系運維人員，并發送已收集的故障日志信息。

告警清除

此告警修復后，系統會自動清除此告警，無需手工清除。

參考信息

無。