關于日志
更新時間 2023-06-29 10:15:59
最近更新時間: 2023-06-29 10:15:59
分享文章
本章節主要介紹翼MapReduce服務關于日志。
日志描述
MRS集群的日志保存路徑為“/var/log/Bigdata”。日志分類見下表：
日志分類一覽表
| 日志類型 | 日志描述 |
|---|---|
| 安裝日志 | 安裝日志記錄了Manager、集群和服務安裝的程序信息，可用于定位安裝出錯的問題。 |
| 運行日志 | 運行日志記錄了集群各服務運行產生的運行軌跡信息及調試信息、狀態變遷、未產生影響的潛在問題和直接的錯誤信息。 |
| 審計日志 | 審計日志中記錄了用戶活動信息和用戶操作指令信息，可用于安全事件中定位問題原因及劃分事故責任。 |
MRS日志目錄清單見下表：
日志目錄一覽表
| 文件目錄 | 日志內容 |
|---|---|
| /var/log/Bigdata/audit | 組件審計日志。 |
| /var/log/Bigdata/controller | 日志采集腳本日志。 controller進程日志。 controller監控日志。 |
| /var/log/Bigdata/dbservice | DBService日志。 |
| /var/log/Bigdata/flume | Flume日志。 |
| /var/log/Bigdata/hbase | HBase日志。 |
| /var/log/Bigdata/hdfs | HDFS日志。 |
| /var/log/Bigdata/hive | Hive日志。 |
| /var/log/Bigdata/httpd | httpd日志。 |
| /var/log/Bigdata/hue | Hue日志。 |
| /var/log/Bigdata/kerberos | Kerberos日志。 |
| /var/log/Bigdata/ldapclient | LDAP客戶端日志。 |
| /var/log/Bigdata/ldapserver | LDAP服務端日志。 |
| /var/log/Bigdata/loader | Loader日志。 |
| /var/log/Bigdata/logman | logman腳本日志管理日志。 |
| /var/log/Bigdata/mapreduce | MapReduce日志。 |
| /var/log/Bigdata/nodeagent | NodeAgent日志。 |
| /var/log/Bigdata/okerberos | OMS Kerberos日志。 |
| /var/log/Bigdata/oldapserver | OMS LDAP日志。 |
| /var/log/Bigdata/omm | oms：“omm”服務端的復雜事件處理日志、告警服務日志、HA日志、認證與授權管理日志和監控服務運行日志。 oma：“omm”代理端的安裝運行日志。 core：“omm”代理端與“HA”進程失去響應的dump日志。 |
| /var/log/Bigdata/spark | Spark日志。 |
| /var/log/Bigdata/sudo | omm執行sudo命令產生的日志。 |
| /var/log/Bigdata/timestamp | 時間同步管理日志。 |
| /var/log/Bigdata/tomcat | Tomcat日志。 |
| /var/log/Bigdata/yarn | Yarn日志。 |
| /var/log/Bigdata/zookeeper | ZooKeeper日志。 |
| /var/log/Bigdata/kafka | Kafka日志。 |
| /var/log/Bigdata/storm | Storm日志。 |
| /var/log/Bigdata/patch | 補丁日志。 |
運行日志
運行日志記錄的運行信息描述如下表所示。
運行信息一覽表
| 運行日志 | 日志描述 |
|---|---|
| 服務安裝前的準備日志 | 記錄服務安裝前的準備工作，如檢測、配置和反饋操作的信息。 |
| 進程啟動日志 | 記錄進程啟動過程中執行的命令信息。 |
| 進程啟動異常日志 | 記錄進程啟動失敗時產生異常的信息，如依賴服務錯誤、資源不足等 |
| 進程運行日志 | 記錄進程運行軌跡信息及調試信息，如函數入口和出口打印、模塊間接口消息等。 |
| 進程運行異常日志 | 記錄導致進程運行時錯誤的錯誤信息，如輸入對象為空、編解碼失敗等錯誤。 |
| 進程運行環境信息日志 | 記錄進程運行環境的信息，如資源狀態、環境變量等。 |
| 腳本日志 | 記錄腳本執行的過程信息。 |
| 資源回收日志 | 記錄資源回收的過程信息。 |
| 服務卸載時的清理日志 | 記錄卸載服務時執行的步驟操作信息，如清除目錄數據、執行時間等 |
審計日志
審計日志記錄的審計信息包含Manager審計信息和組件審計信息。
Manager審計信息一覽表
| 審計日志 | 操作類型 | 操作 |
|---|---|---|
| Manager審計日志 | 用戶管理 | 創建用戶 修改用戶 刪除用戶 創建組 修改組 刪除組 添加角色 修改角色 刪除角色 密碼策略修改 修改密碼 密碼重置 用戶登錄 用戶注銷 屏幕解鎖 下載認證憑據 用戶越權操作 用戶帳號解鎖 用戶帳號鎖定 屏幕鎖定 導出用戶 導出用戶組 導出角色 |
| 租戶管理 | 保存靜態配置 增加租戶 刪除租戶 關聯租戶服務 刪除租戶服務 配置資源 創建資源 刪除資源 增加資源池 修改資源池 刪除資源池 恢復租戶數據 |
|
| 集群管理 | 啟動集群 停止集群 保存配置 同步集群配置 定制集群監控指標 保存監控閾值 下載客戶端配置 北向接口配置 北向SNMP接口配置 創建閾值模板 刪除閾值模板 應用閾值模板 保存集群監控配置數據 導出配置數據 導入集群配置數據 導出安裝模板 修改閾值模板 取消閾值模板應用 屏蔽告警 發送告警 修改OMS數據庫密碼 修改組件數據庫密碼 啟動集群的健康檢查 更新健康檢查的配置 導出集群健康檢查的結果 導入證書文件 刪除健康檢查歷史報告 導出健康檢查歷史報告 定制報表監控指標 導出報表監控數據 定制靜態資源池監控指標 導出靜態資源池監控數據 |
|
| 服務管理 | 啟動服務 停止服務 同步服務配置 刷新服務隊列 定制服務監控指標 重啟服務 導出服務監控數據 導入服務配置數據 啟動服務的健康檢查 導出服務健康檢查的結果 服務配置 上傳配置文件 下載配置文件 |
|
| 實例管理 | 同步實例配置 實例入服 實例退服 啟動實例 停止實例 定制實例監控指標 重啟實例 導出實例監控數據 導入實例配置數據 |
|
| 主機管理 | 設置節點機架 啟動所有角色 停止所有角色 隔離主機 取消隔離主機 定制主機監控指標 導出主機監控數據 啟動主機的健康檢查 導出主機健康檢查的結果 |
|
| 維護管理 | 導出告警 清除告警 導出事件 批量清除告警 SNMP清除告警 SNMP添加trap目標 SNMP刪除trap目標 SNMP檢查告警 SNMP同步告警 修改審計轉儲配置 導出審計日志 采集日志文件 下載日志文件 上傳文件 刪除已上傳的文件 創建備份任務 執行備份任務 停止備份任務 刪除備份任務 修改備份任務 鎖定備份任務 解鎖備份任務 創建恢復任務 執行恢復任務 停止恢復任務 重試恢復任務 刪除恢復任務 |
組件審計信息一覽表
| 審計日志 | 操作類型 | 操作 |
|---|---|---|
| DBService審計日志 | 維護管理 | 備份恢復操作 |
| HBase審計日志 | DDL（數據定義）語句 | 創建表 刪除表 修改表 增加列族 修改列族 刪除列族 啟用表 禁用表 用戶信息修改 修改密碼 用戶登錄 |
| HBase審計日志 | DML（數據操作）語句 | put數據（針對hbase:meta表、_ctmeta_表和hbase:acl表） 刪除數據（針對hbase:meta表、_ctmeta_表和hbase:acl表） 檢查并put數據（針對hbase:meta表、_ctmeta_表和hbase:acl表） 檢查并刪除數據（針對hbase:meta表、_ctmeta_表和hbase:acl表） |
| HBase審計日志 | 權限控制 | 給用戶授權 取消用戶授權 |
| Hive審計日志 | 元數據操作 | 元數據定義，如創建數據庫、表等 元數據刪除，如刪除數據庫、表等 元數據修改，如增加列、重命名表等 元數據導入/導出 |
| Hive審計日志 | 數據維護 | 向表中加載數據 向表中插入數據 |
| Hive審計日志 | 權限管理 | 創建/刪除角色 授予/回收角色 授予/回收權限 |
| HDFS審計日志 | 權限管理 | 文件/文件夾訪問權限 文件/文件夾owner信息 |
| HDFS審計日志 | 文件操作 | 創建文件夾 創建文件 打開文件 追加文件內容 修改文件名稱 刪除文件/文件夾 設置文件時間屬性 設置文件副本個數 多文件合并 文件系統檢查 文件鏈接 |
| Mapreduce審計日志 | 程序運行 | 啟動Container請求 停止Container請求 Container結束，狀態為成功 Container結束，狀態為失敗 Container結束，狀態為中止 提交任務 結束任務 |
| LdapServer審計日志 | 維護管理 | 添加操作系統用戶 添加組 添加用戶到組 刪除用戶 刪除組 |
| KrbServer審計日志 | 維護管理 | 修改kerberos帳號密碼 添加kerberos帳號 刪除kerberos帳號 用戶認證 |
| Loader審計日志 | 安全管理 | 用戶登錄 |
| Loader審計日志 | 元數據管理 | 查詢connector 查詢framework 查詢step |
| Loader審計日志 | 數據源連接管理 | 查詢數據源連接 增加數據源連接 更新數據源連接 刪除數據源連接 激活數據源連接 禁用數據源連接 |
| Loader審計日志 | 作業管理 | 查詢作業 創建作業 更新作業 刪除作業 激活作業 禁用作業 查詢作業所有執行記錄 查詢作業最近執行記錄 提交作業 停止作業 |
| Hue審計日志 | 服務啟動 | 啟動Hue |
| Hue審計日志 | 用戶操作 | 用戶登錄 用戶退出 |
| Hue審計日志 | 任務操作 | 創建任務 修改任務 刪除任務 提交任務 保存任務 任務狀態更新 |
| Zookeeper審計日志 | 權限管理 | 設置ZNODE訪問權限 |
| Zookeeper審計日志 | ZNODE操作 | 創建ZNODE 刪除ZNODE 設置ZNODE數據 |
| Storm審計日志 | Nimbus | 提交拓撲 中止拓撲 重分配拓撲 去激活拓撲 激活拓撲 |
| Storm審計日志 | UI | 中止拓撲 重分配拓撲 去激活拓撲 激活拓撲 |
MRS的審計日志保存在數據庫中，可通過“審計管理”頁面查看及導出審計日志。
組件審計日志的文件信息見下表。部分組件審計日志文件保存在“/var/log/Bigdata/audit”，例如HDFS、HBase、Mapreduce、Hive、Hue、Yarn、Storm和ZooKeeper。每天凌晨3點自動將組件審計日志壓縮備份到“/var/log/Bigdata/audit/bk”，最多保留最近的90個壓縮備份文件，不支持修改備份時間。
其他組件審計日志文件保存在組件日志目錄中。
組件審計日志目錄
| 組件名稱 | 審計日志目錄 |
|---|---|
| DBService | /var/log/Bigdata/audit/dbservice/dbservice_audit.log |
| HDFS | /var/log/Bigdata/audit/hdfs/nn/hdfs-audit-namenode.log /var/log/Bigdata/audit/hdfs/dn/hdfs-audit-datanode.log /var/log/Bigdata/audit/hdfs/jn/hdfs-audit-journalnode.log /var/log/Bigdata/audit/hdfs/zkfc/hdfs-audit-zkfc.log /var/log/Bigdata/audit/hdfs/httpfs/hdfs-audit-httpfs.log /var/log/Bigdata/audit/hdfs/router/hdfs-audit-router.log |
| Mapreduce | /var/log/Bigdata/audit/mapreduce/jobhistory/mapred-audit-jobhistory.log |
| Hive | /var/log/Bigdata/audit/hive/hiveserver/hive-audit.log /var/log/Bigdata/audit/hive/metastore/metastore-audit.log /var/log/Bigdata/audit/hive/webhcat/webhcat-audit.log |
| Loader | /var/log/Bigdata/loader/audit/default.audit |
| Hue | /var/log/Bigdata/audit/hue/hue-audits.log |
| ZooKeeper | /var/log/Bigdata/audit/zookeeper/quorumpeer/zk-audit-quorumpeer.log |
| Spark | /var/log/Bigdata/audit/spark/jdbcserver/jdbcserver-audit.log /var/log/Bigdata/audit/spark/jobhistory/jobhistory-audit.log |
| Yarn | /var/log/Bigdata/audit/yarn/rm/yarn-audit-resourcemanager.log /var/log/Bigdata/audit/yarn/nm/yarn-audit-nodemanager.log |
| Storm | /var/log/Bigdata/audit/storm/nimbus/audit.log /var/log/Bigdata/audit/storm/ui/audit.log |
