告警解釋
系統每天凌晨三點啟動服務審計日志轉儲,將服務審計日志備份到OMS節點,如果轉儲失敗,則發送告警。當下一次轉儲成功,告警恢復。
告警屬性
| 告警ID | 告警級別 | 是否自動清除 |
|---|---|---|
| 12085 | 次要 | 是 |
告警參數
| 參數名稱 | 參數含義 |
|---|---|
| 來源 | 產生告警的集群或系統名稱。 |
| 服務名 | 產生告警的服務名稱。 |
| 角色名 | 產生告警的角色名稱。 |
| 主機名 | 產生告警的主機名。 |
對系統的影響
服務審計日志有可能丟失。
可能原因
- 服務審計日志過大。
- OMS備份路徑存儲空間不足。
- 服務所在某一個主機的存儲空間不足。
處理步驟
檢查是否服務審計日志過大
1.打開FusionInsight Manager頁面,在告警列表中,單擊此告警所在行的
,查看該告警的主機地址。
2.以root用戶登錄告警所在主機。
3.執行命令 vi ${BIGDATA_LOG_HOME}/controller/scriptlog/getLogs.log ,檢索關鍵字 "LOG SIZE is more than5000MB"。是否能夠檢索到此關鍵字。
- 是,執行步驟4。
- 否,執行步驟5。
4.查看是否有異常導致服務審計日志過大。
OMS備份路徑存儲空間不足
5.執行命令 vi ${BIGDATA_LOG_HOME}/controller/scriptlog/getLogs.log ,檢索關鍵字 "Collect log failed, too many logs on"。是否能夠檢索到此關鍵字。
- 是,獲取Collect log failed, too many logs on關鍵字后面的主機IP地址,執行步驟6。
- 否,執行步驟10。
6.以root用戶登錄步驟5中獲取到的主機IP地址。
7.執行命令 vi {BIGDATA_LOG_HOME}/nodeagent/scriptlog/collectLog.log , 是否能夠檢索到此關鍵字“log size exceeds”。
- 是,執行步驟8。
- 否,執行步驟10。
8.對OMS節點進行磁盤擴容。
9.等待下一個執行周期(凌晨三點),查看告警是否恢復。
- 是,操作結束。
- 否,執行步驟10。
檢查服務所在某一個主機的空間是否不足
10.執行命令 vi ${BIGDATA_LOG_HOME}/controller/scriptlog/getLogs.log ,檢索關鍵字 "Collect log failed, no enough space on hostIp "。是否能夠檢索到此關鍵字。
- 是,獲取hostIp作為異常主機IP,執行步驟11。
- 否,執行步驟14。
11.以root用戶登錄獲取到的主機IP,執行命令 df "$BIGDATA_HOME/tmp" -lP | tail -1 | awk '{print ($4/1024)}' ,獲取該主機日志目錄剩余空間,查看該值是否小于1000M。
- 是,執行步驟12。
- 否,執行步驟14。
12.對該節點進行磁盤擴容。
13.等待下一個執行周期,凌晨3點,查看告警是否恢復。
- 是,操作結束。
- 否,執行步驟14。
收集故障信息
14.在FusionInsight Manager界面,選擇“運維 > 日志 > 下載”。
15.在“服務”中勾選 "Controller”,單擊“確定”。
16.單擊右上角的
設置日志收集的“開始時間”和“結束時間”分別為告警產生時間的前后10分,單擊“下載”。
17.請聯系運維人員,并發送已收集的故障日志信息。
告警清除
此告警修復后,系統會自動清除此告警,無需手工清除。
參考信息
無。