告警解釋

告警模塊按60秒周期檢測Yarn隊列上pending的應用的數量，當root隊列上處于pending狀態的應用的數量超過60時，觸發該告警。

告警屬性

告警參數

對系統的影響

• 應用任務結束時間變長。
• 新應用提交后長時間無法運行。

可能原因

• NodeManager節點資源過小。
• 隊列最大資源容量設置過小，AM最大資源百分比設置過小。
• 監控閾值設置過小。

處理步驟

檢查NodeManager節點資源

1.在FusionInsight Manager界面，選擇“集群 > 待操作集群的名稱 > 服務 > Yarn > ResourceManager(主)”，進入ResourceManager的WebUI頁面。

2.單擊“Scheduler”，在“Application Queues”中查看root隊列是否資源用滿。

• 是，執行步驟3。
• 否，執行步驟4。

3.對Yarn服務的NodeManager實例進行擴容。擴容后，查看告警是否消除。

• 是，處理完畢。
• 否，執行步驟6。

檢查隊列最大資源容量和AM最大資源百分比

4.查看pending任務對應的隊列的資源是否用滿。

• 是，執行步驟5。
• 否，執行步驟6。

5.在FusionInsight Manager界面，選擇 “租戶資源 > 動態資源計劃”，根據實際需要，適當增加相應的隊列資源。查看告警是否消除。

• 是，處理完畢。
• 否，執行步驟6。

調整監控閾值

6.在FusionInsight Manager界面，選擇“運維 > 告警 > 閾值設置 > 待操作集群的名稱 > Yarn > 任務 > 正在掛起的任務”，根據實際需要，適當增加該告警的監控閾值。

7.等待5分鐘，查看該告警是否消除。

• 是，處理完畢。
• 否，執行步驟8。

收集故障信息

8.在FusionInsight Manager界面，選擇“運維 > 日志 > 下載”。

9.在“服務”中勾選待操作集群的“Yarn”。

10.單擊右上角的設置日志收集的“開始時間”和“結束時間”分別為告警產生時間的前后10分鐘，單擊“下載”。

11.請聯系運維人員，并發送已收集的故障日志信息。

告警清除

此告警修復后，系統會自動清除此告警，無需手工清除。

參考信息

無。