告警解釋

系統每30秒周期性檢測omm進程使用情況，執行 ps -o nlwp,pid,args, -u omm | awk '{sum+=$1} END {print"", sum}' 命令，獲取當前omm用戶并發的所有進程數，在omm用戶下，執行 ulimit -u ，獲取omm用戶可以同時打開的進程最大數。

結果相除，獲取到對應的omm用戶進程使用率。進程使用率默認提供一個閾值范圍。當檢測到進程使用率超出閾值范圍時產生該告警。

平滑次數為3，進程使用率小于或等于閾值時，告警恢復；如果當前平滑次數大于1，進程使用率小于或等于閾值的90%時，告警恢復。

告警屬性

告警參數

對系統的影響

• 無法切換到omm用戶。
• 無法創建新的omm線程。

可能原因

• 告警閾值配置不合理。
• omm用戶可以同時打開的進程（包括線程）的最大個數配置不合理。
• 同時打開的進程過多。

處理步驟

檢查告警閾值配置或者平滑次數配置是否合理

1.在FusionInsight Manager界面，基于實際CPU使用情況，修改告警閾值和平滑次數配置項。

根據實際服務的使用情況在“運維 > 告警 > 閾值設置 > 待操作集群的名稱 > 主機 > 進程 > omm 進程使用率”中更改告警的平滑次數，如下圖所示。

                
說明
                
該選項的含義為告警檢查階段，“平滑次數”為連續檢查多少次超過閾值，則發送告警。

              

根據實際服務的使用情況在“運維 > 告警 > 閾值設置 > 待操作集群的名稱 > 主機 > 進程 > omm 進程使用率”中修改對應規則的閾值，如下圖所示。

2.等待2分鐘，查看告警是否自動恢復。

• 是，處理完畢。
• 否，執行步驟3。

檢查系統omm用戶同時打開的進程（包括線程）最大數的配置是否合理

3.打開FusionInsight Manager頁面，在告警列表中，單擊此告警所在行的，查看該告警的主機地址。

4.以root用戶登錄告警所在主機。

5.執行命令 su - omm ，切換到omm用戶。

6.執行命令 ulimit -u ，獲取到當前配置的omm用戶同時打開的線程最大數的配置值，查看該值是否大于等于60000。

• 是，執行步驟8。
• 否，執行步驟7。

7.執行命令 ulimit -u 60000 ，將omm用戶的該配置修改為60000，等待2分鐘，查看告警是否消失。

• 是，處理完畢。
• 否，執行步驟12。

檢查是否同時打開的進程過多

8.打開FusionInsight Manager頁面，在告警列表中，單擊此告警所在行的，查看該告警的主機地址。

9.以root用戶登錄告警所在主機。

10.執行命令 ps -o nlwp,pid,lwp,args, -u omm|sort -n ，查看系統當前使用的線程數量。

命令回顯結果是基于線程數排序的，分析線程數最大的top5線程，結合業務分析是否異常使用，如果是，則需要聯系相關維護人員修復該異常，如果所有線程均正常使用，則需要執行ulimit -u命令，將該值調整到大于60000。

11.等待5分鐘，檢查該告警是否恢復。

• 是，處理完畢。
• 否，執行步驟12。

收集故障信息

12.在集群的FusionInsight Manager界面，選擇“運維 > 日志 > 下載”。

13.在“服務”中勾選“OmmServer”和“NodeAgent”，單擊“確定”。

14.單擊右上角的設置日志收集的“開始時間”和“結束時間”分別為告警產生時間的前后10分鐘，單擊“下載”。

15.請聯系運維人員，并發送已收集的故障日志信息。

告警清除

此告警修復后，系統會自動清除此告警，無需手工清除。

參考信息

無。