告警解釋
系統每30秒周期性檢測主機文件句柄使用率，并把實際使用率和閾值（系統默認閾值80%）進行比較，當檢測到主機文件句柄使用率連續多次（默認值為5）超過閾值時產生該告警。
用戶可通過“運維 > 告警 > 閾值設置 > 待操作集群的名稱 > 主機 > 主機狀態 > 主機文件句柄使用率”修改閾值。
平滑次數為1，主機文件句柄使用率小于或等于閾值時，告警恢復；平滑次數大于1，主機文件句柄使用率小于或等于閾值的90%時，告警恢復。
告警屬性
| 告警ID | 告警級別 | 是否自動清除 |
|---|---|---|
| 12053 | 重要 | 是 |
告警參數
| 參數名稱 | 參數含義 |
|---|---|
| 來源 | 產生告警的集群或系統名稱。 |
| 服務名 | 產生告警的服務名稱。 |
| 角色名 | 產生告警的角色名稱。 |
| 主機名 | 產生告警的主機名。 |
| Trigger Condition | 系統當前指標取值滿足自定義的告警設置條件。 |
對系統的影響
系統應用無法打開文件、網絡等IO操作，程序異常。
可能原因
- 應用進程存在異常，如打開的文件或socket沒有關閉。
- 文件句柄數不滿足當前業務需求。
- 系統環境異常。
處理步驟
查看進程打開文件情況
1.打開FusionInsight Manager頁面，在實時告警列表中，單擊此告警所在行的
，獲取告警所在主機IP地址。
2.以root用戶登錄告警所在主機。
3.執行命令 lsof -n|awk '{print $2}'|sort|uniq -c|sort -nr|more ，查看文件句柄占用較多的進程。
4.分析打開文件數目較多的進程，分析該進程是否存在異常，如打開的文件或socket沒有關閉。
- 是，執行步驟5。
- 否，執行步驟7。
5.文件句柄占用多的異常進程進行確認釋放。
6.等待5分鐘，檢查該告警是否恢復。
- 是，處理完畢。
- 否，執行步驟7。
增大文件句柄數
7.打開FusionInsight Manager頁面，在實時告警列表中，單擊此告警所在行的，獲取告警所在主機IP地址。
8.以root用戶登錄告警所在主機。
9.聯系系統管理員，增大系統文件句柄數。
10.執行cat /proc/sys/fs/file-nr查看已使用句柄數和最大句柄數。第一個值為已使用句柄數，第三個值為最大句柄數，計算使用率是否超過設定閾值。
# cat /proc/sys/fs/file-nr
12704 0 640000
- 是，執行步驟9。
- 否，執行步驟11。
- 等待5分鐘，檢查該告警是否恢復。
- 是，處理完畢。
- 否，執行步驟12。
檢查系統環境是否異常
12.聯系系統管理員，檢查操作系統是否存在異常。
- 是，恢復操作系統故障，執行步驟13。
- 否，執行步驟14。
13.等待5分鐘，檢查該告警是否恢復。
- 是，處理完畢。
- 否，執行步驟14。
收集故障信息
14.在主集群的FusionInsight Manager界面，選擇“運維 > 日志 > 下載”。
15.在“服務”中勾選“OMS”，單擊“確定”。
16.設置“主機”為告警所在節點和主OMS節點。
17.單擊右上角的
設置日志收集的“開始時間”和“結束時間”分別為告警產生時間的前后30分鐘，單擊“下載”。
18.請聯系運維人員，并發送已收集的故障日志信息。
告警清除
此告警修復后，系統會自動清除此告警，無需手工清除。
參考信息
無。
