告警解釋

系統每30秒周期性檢測每個HBase服務實例RegionServer等待同步的HFile文件數量。該指標可以在RegionServer角色監控界面查看，當檢測到某個RegionServer上的等待同步HFile文件數量超出閾值（默認連續20次超過默認閾值128）時產生該告警。用戶可通過“運維 > 告警 > 閾值設置 > 待操作集群 > HBase”來修改閾值。當等待同步的HFile文件數量小于或等于閾值時，告警消除。

告警屬性

告警參數

對系統的影響

RegionServer等待同步的HFile文件數量超出閾值，會影響HBase使用的znode超出閾值，影響HBase服務狀態。

可能原因

• 網絡異常。
• RegionServer的Region分布不均勻。
• 備集群HBase服務規模過小。

處理步驟

查看告警定位信息

1.在FusionInsight Manager首頁，選擇“運維 > 告警 > 告警”，選擇“告警ID”為“19019”的告警，查看“定位信息”中產生該告警的服務實例和主機名。

檢查主備集群RegionServer之間的網絡連接

2.執行ping命令，查看故障RegionServer節點和備集群RegionServer所在主機的網絡連接是否正常。

• 是，執行步驟5
• 否，執行步驟3

3.聯系網絡管理員恢復網絡。

4.網絡恢復后，在告警列表中，查看本告警是否清除。

• 是，處理完畢。
• 否，執行步驟5。

檢查主集群RegionServer的Region分布情況

5.在FusionInsight Manager首頁，選擇“集群 > 待操作集群的名稱 > 服務 > HBase”，單擊“HMaster(主)”，打開該HBase實例的WebUI，查看Region Servers上Region分布是否均衡。

6.以omm用戶登錄故障RegionServer節點。

7.進入客戶端安裝目錄，設置環境變量。

cd 客戶端安裝目錄
source bigdata_env

如果集群采用安全版本，要進行安全認證。執行kinit hbase命令，按提示輸入密碼（向管理員獲取密碼）。

8.執行以下命令查看目前負載均衡功能是否打開。

hbase shell
balancer_enabled

• 是，執行步驟10。
• 否，執行步驟9。

9.在hbase shell中執行命令打開負載均衡功能，并執行命令查看確認成功打開。

balance_switch true
balancer_enabled

10.執行balancer命令手動觸發負載均衡。

                
說明
                
建議打開和手動觸發負載均衡操作在業務低峰期進行。
              

11.觀察該告警是否清除。

• 是，處理完畢。
• 否，執行步驟12。

檢查備集群HBase服務規模

12.對HBase集群擴容，增加節點，并在節點上增加RegionServer實例。然后執行步驟步驟6 -步驟步驟10，打開負載均衡功能并手動觸發。

13.在FusionInsight Manager首頁，選擇“集群 > 待操作集群的名稱 > 服務 > HBase”，單擊“HMaster(主)”，打開該HBase實例的WebUI，刷新頁面查看Region分布是否均衡。

• 是，執行步驟14。
• 否，執行步驟15。

14.觀察該告警是否清除。

• 是，處理完畢。
• 否，執行步驟15。

收集故障信息

15.在主備群的FusionInsight Manager界面，選擇“運維 > 日志 > 下載”。

16.在“服務”中勾選待操作集群的“HBase”。

17.單擊右上角的設置日志收集的“開始時間”和“結束時間”分別為告警產生時間的前后10分鐘，單擊“下載”。

18.請聯系運維人員，并發送已收集的故障日志信息。

告警清除

此告警修復后，系統會自動清除此告警，無需手工清除。

參考信息

無。