日志描述
MRS集群的日志保存路徑為“/var/log/Bigdata”。日志分類見下表：
日志分類一覽表
| 日志類型 | 日志描述 |
|---|---|
| 安裝日志 | 安裝日志記錄了Manager、集群和服務安裝的程序信息，可用于定位安裝出錯的問題。 |
| 運行日志 | 運行日志記錄了集群各服務運行產生的運行軌跡信息及調試信息、狀態變遷、未產生影響的潛在問題和直接的錯誤信息。 |
| 審計日志 | 審計日志中記錄了用戶活動信息和用戶操作指令信息，可用于安全事件中定位問題原因及劃分事故責任。 |
MRS日志目錄清單見下表：
日志目錄一覽表
| 文件目錄 | 日志內容 |
|---|---|
| /var/log/Bigdata/audit | 組件審計日志。 |
| /var/log/Bigdata/controller | 日志采集腳本日志。 controller進程日志。 controller監控日志。 |
| /var/log/Bigdata/dbservice | DBService日志。 |
| /var/log/Bigdata/flume | Flume日志。 |
| /var/log/Bigdata/hbase | HBase日志。 |
| /var/log/Bigdata/hdfs | HDFS日志。 |
| /var/log/Bigdata/hive | Hive日志。 |
| /var/log/Bigdata/httpd | httpd日志。 |
| /var/log/Bigdata/hue | Hue日志。 |
| /var/log/Bigdata/kerberos | Kerberos日志。 |
| /var/log/Bigdata/ldapclient | LDAP客戶端日志。 |
| /var/log/Bigdata/ldapserver | LDAP服務端日志。 |
| /var/log/Bigdata/loader | Loader日志。 |
| /var/log/Bigdata/logman | logman腳本日志管理日志。 |
| /var/log/Bigdata/mapreduce | MapReduce日志。 |
| /var/log/Bigdata/nodeagent | NodeAgent日志。 |
| /var/log/Bigdata/okerberos | OMS Kerberos日志。 |
| /var/log/Bigdata/oldapserver | OMS LDAP日志。 |
| /var/log/Bigdata/metric_agent | MetricAgent運行日志。 |
| /var/log/Bigdata/omm | oms：“omm”服務端的復雜事件處理日志、告警服務日志、HA日志、認證與授權管理日志和監控服務運行日志。 oma：“omm”代理端的安裝運行日志。 core：“omm”代理端與“HA”進程失去響應的dump日志。 |
| /var/log/Bigdata/spark2x | Spark2x日志。 |
| /var/log/Bigdata/sudo | omm執行sudo命令產生的日志。 |
| /var/log/Bigdata/timestamp | 時間同步管理日志。 |
| /var/log/Bigdata/tomcat | Tomcat日志。 |
| /var/log/Bigdata/watchdog | Watchdog日志。 |
| /var/log/Bigdata/yarn | Yarn日志。 |
| /var/log/Bigdata/zookeeper | ZooKeeper日志。 |
| /var/log/Bigdata/oozie | Oozie日志。 |
| /var/log/Bigdata/kafka | Kafka日志。 |
| /var/log/Bigdata/storm | Storm日志。 |
| /var/log/Bigdata/upgrade | 升級OMS日志。 |
| /var/log/Bigdata/update-service | 升級服務日志。 |
說明啟用多實例功能后，如果系統管理員添加了多個HBase、Hive和Spark服務的實例，新增加服務實例的日志描述、日志級別和日志格式，與原服務日志相同。服務實例的日志將獨立保存在名為“/var/log/Bigdata/servicenameN”的目錄中，HBase和Hive服務實例的審計日志保存在名為“/var/log/Bigdata/audit/servicenameN”的目錄中。以HBase1為例，對應日志分別保存在“/var/log/Bigdata/hbase1”和“/var/log/Bigdata/audit/hbase1”。
安裝日志
安裝信息一覽表
| 安裝日志 | 日志描述 |
|---|---|
| 安裝配置日志 | 記錄了安裝前配置過程的信息。 |
| 安裝Manager日志 | 記錄了安裝雙機Manager操作的信息。 |
| 安裝集群日志 | 記錄了安裝集群步驟的信息。 |
運行日志
運行日志記錄的運行信息描述如下表所示。
運行信息一覽表
| 運行日志 | 日志描述 |
|---|---|
| 服務安裝前的準備日志 | 記錄服務安裝前的準備工作，如檢測、配置和反饋操作的信息。 |
| 進程啟動日志 | 記錄進程啟動過程中執行的命令信息。 |
| 進程啟動異常日志 | 記錄進程啟動失敗時產生異常的信息，如依賴服務錯誤、資源不足等。 |
| 進程運行日志 | 記錄進程運行軌跡信息及調試信息，如函數入口和出口打印、模塊間接口消息等。 |
| 進程運行異常日志 | 記錄導致進程運行時錯誤的錯誤信息，如輸入對象為空、編解碼失敗等錯誤。 |
| 進程運行環境信息日志 | 記錄進程運行環境的信息，如資源狀態、環境變量等。 |
| 腳本日志 | 記錄腳本執行的過程信息。 |
| 資源回收日志 | 記錄資源回收的過程信息。 |
| 服務卸載時的清理日志 | 記錄卸載服務時執行的步驟操作信息，如清除目錄數據、執行時間等。 |
審計日志
審計日志記錄的審計信息包含Manager審計信息和組件審計信息。
Manager審計信息一覽表
| 操作類型 | 操作 |
|---|---|
| 用戶管理 | 創建用戶 修改用戶 刪除用戶 創建組 修改組 刪除組 添加角色 修改角色 刪除角色 密碼策略修改 修改密碼 密碼重置 用戶登錄 用戶注銷 屏幕解鎖 下載認證憑據 用戶越權操作 用戶帳號解鎖 用戶帳號鎖定 屏幕鎖定 導出用戶 導出用戶組 導出角色 |
| 集群 | 啟動集群 停止集群 重啟集群 滾動重啟集群 重啟所有過期實例 保存配置 同步集群配置 定制集群監控指標 配置監控轉儲 保存監控閾值 下載客戶端配置 北向Syslog接口配置 北向SNMP接口配置 SNMP清除告警 SNMP添加trap目標 SNMP刪除trap目標 SNMP檢查告警 SNMP同步告警 創建閾值模板 刪除閾值模板 應用閾值模板 保存集群監控配置數據 導出配置數據 導入集群配置數據 導出安裝模板 修改閾值模板 取消閾值模板應用 屏蔽告警 發送告警 修改OMS數據庫密碼 重置組件數據庫密碼 重啟OMM和Controller 啟動集群的健康檢查 導入證書文件 配置SSO信息 刪除健康檢查歷史報告 修改集群屬性 同步維護命令 異步維護命令 定制報表監控指標 導出報表監控數據 SNMP執行異步命令 重啟WEB服務 定制靜態資源池監控指標 導出靜態資源池監控數據 定制主頁監控指標 中止任務 還原配置 修改域和互信的配置 修改系統參數 集群進入維護模式 集群退出維護模式 OMS進入維護模式 OMS退出維護模式 批量退出維護模式 修改OMS配置 啟用閾值告警 同步所有集群配置 |
| 服務 | 啟動服務 停止服務 同步服務配置 刷新服務隊列 定制服務監控指標 重啟服務 滾動重啟服務 導出服務監控數據 導入服務配置數據 啟動服務的健康檢查 服務配置 上傳配置文件 下載配置文件 同步實例配置 實例入服 實例退服 啟動實例 停止實例 定制實例監控指標 重啟實例 滾動重啟實例 導出實例監控數據 導入實例配置數據 創建實例組 修改實例組 刪除實例組 移動到另一個實例組 服務進入維護模式 服務退出維護模式 修改服務顯示名稱 修改服務關聯關系 下載監控數據 屏蔽告警 取消屏蔽告警 導出服務的報表數據 添加報表的自定義參數 修改報表的自定義參數 刪除報表的自定義參數 倒換控制節點 新增掛載表 修改掛載表 |
| 主機 | 設置節點機架 啟動所有角色 停止所有角色 隔離主機 取消隔離主機 定制主機監控指標 導出主機監控數據 主機進入維護模式 主機退出維護模式 導出主機基本信息 導出主機分布的報表數據 導出主機趨勢的報表數據 導出主機集群的報表數據 導出服務的報表數據 定制主機集群監控指標 定制主機趨勢監控指標 |
| 告警 | 導出告警 清除告警 導出事件 批量清除告警 |
| 采集日志 | 采集日志文件 下載日志文件 采集服務堆棧信息 采集實例堆棧信息 準備服務堆棧信息 準備實例堆棧信息 清理服務堆棧信息 清理實例堆棧信息 |
| 審計日志 | 修改審計轉儲配置 導出審計日志 |
| 備份恢復 | 創建備份任務 執行備份任務 批量執行備份任務 停止備份任務 刪除備份任務 修改備份任務 鎖定備份任務 解鎖備份任務 創建恢復任務 執行恢復任務 停止恢復任務 重試恢復任務 刪除恢復任務 |
| 多租戶 | 保存靜態配置 添加租戶 刪除租戶 關聯租戶服務 刪除租戶服務 配置資源 創建資源 刪除資源 增加資源池 修改資源池 刪除資源池 恢復租戶數據 修改租戶全局配置 修改容量調度器隊列配置 修改超級調度器隊列配置 修改容量調度器資源分布 清除容量調度器資源分布 修改超級調度器資源分布 清除超級調度器資源分布 添加資源目錄 修改資源目錄 刪除資源目錄 定制租戶監控指標 |
| 健康檢查 | 啟動集群的健康檢查 啟動服務的健康檢查 啟動主機的健康檢查 啟動oms健康檢查 啟動系統的健康檢查 更新健康檢查的配置 導出健康檢查報告 導出集群健康檢查的結果 導出服務健康檢查的結果 導出主機健康檢查的結果 刪除健康檢查歷史報告 導出健康檢查歷史報告 下載健康檢查報告 |
組件審計信息一覽表
審計日志 操作類型 操作 ClickHouse審計日志 維護管理
授權
收回權限
認證和登錄信息
業務操作
創建數據庫/表
插入、刪除、查詢、執行數據遷移任務
DBService審計日志
維護管理
備份恢復操作
HBase審計日志
DDL（數據定義）語句
創建表
刪除表
修改表
增加列族
修改列族
刪除列族
啟用表
禁用表
用戶信息修改
修改密碼
用戶登錄
DML（數據操作）語句
put數據（針對hbase:meta表、_ctmeta_表和hbase:acl表）
刪除數據（針對hbase:meta表、_ctmeta_表和hbase:acl表）
檢查并put數據（針對hbase:meta表、_ctmeta_表和hbase:acl表）
檢查并刪除數據（針對hbase:meta表、_ctmeta_表和hbase:acl表）
權限控制
給用戶授權
取消用戶授權
HDFS審計日志
權限管理
文件/文件夾訪問權限
文件/文件夾owner信息
文件操作
創建文件夾
創建文件
打開文件
追加文件內容
修改文件名稱
刪除文件/文件夾
設置文件時間屬性
設置文件副本個數
多文件合并
文件系統檢查
文件鏈接
Hive審計日志
元數據操作
元數據定義，如創建數據庫、表等
元數據刪除，如刪除數據庫、表等
元數據修改，如增加列、重命名表等
元數據導入/導出
數據維護
向表中加載數據
向表中插入數據
權限管理
創建/刪除角色
授予/回收角色
授予/回收權限
Hue審計日志
服務啟動
啟動Hue
用戶操作
用戶登錄
用戶退出
任務操作
創建任務
修改任務
刪除任務
提交任務
保存任務
任務狀態更新
KrbServer審計日志
維護管理
修改kerberos帳號密碼
添加kerberos帳號
刪除kerberos帳號
用戶認證
LdapServer審計日志
維護管理
添加操作系統用戶
添加組
添加用戶到組
刪除用戶
刪除組
Loader審計日志
安全管理
用戶登錄
元數據管理
查詢connector
查詢framework
查詢step
數據源連接管理
查詢數據源連接
增加數據源連接
更新數據源連接
刪除數據源連接
激活數據源連接
禁用數據源連接
作業管理
查詢作業
創建作業
更新作業
刪除作業
激活作業
禁用作業
查詢作業所有執行記錄
查詢作業最近執行記錄
提交作業
停止作業
Mapreduce審計日志
程序運行
啟動Container請求
停止Container請求
Container結束，狀態為成功
Container結束，狀態為失敗
Container結束，狀態為中止
提交任務
結束任務
Oozie審計日志
任務管理
提交任務
啟動任務
kill任務
暫停任務
恢復任務
重新運行任務
Spark2x審計日志
元數據操作
元數據定義，如創建數據庫、表等
元數據刪除，如刪除數據庫、表等
元數據修改，如增加列、重命名表等
元數據導入/導出
數據維護
向表中加載數據
向表中插入數據
Storm審計日志
Nimbus
提交拓撲
中止拓撲
重分配拓撲
去激活拓撲
激活拓撲
UI
中止拓撲
重分配拓撲
去激活拓撲
激活拓撲
Yarn審計日志
任務提交
提交作業到隊列相關的操作
Zookeeper審計日志
權限管理
設置ZNODE訪問權限
ZNODE操作
創建ZNODE
刪除ZNODE
設置ZNODE數據
FusionInsight Manager的審計日志保存在數據庫中，可通過“審計”頁面查看及導出審計日志。
組件審計日志的文件信息見下表。部分組件審計日志文件保存在“/var/log/Bigdata/audit”，例如HDFS、HBase、Mapreduce、Hive、Hue、Yarn、Storm和ZooKeeper。每天凌晨3點自動將組件審計日志壓縮備份到“/var/log/Bigdata/audit/bk”，最多保留最近的90個壓縮備份文件，不支持修改備份時間。配置保留個數，請參見配置審計日志本地備份數。
其他組件審計日志文件保存在組件日志目錄中。
組件審計日志目錄
| 組件名稱 | 審計日志目錄 |
|---|---|
| DBService | /var/log/Bigdata/audit/dbservice/dbservice_audit.log |
| HBase | /var/log/Bigdata/audit/hbase/hm/hbase-audit-hmaster.log /var/log/Bigdata/audit/hbase/hm/hbase-ranger-audit-hmaster.log /var/log/Bigdata/audit/hbase/rs/hbase-audit-regionserver.log /var/log/Bigdata/audit/hbase/rs/hbase-ranger-audit-regionserver.log /var/log/Bigdata/audit/hbase/rt/hbase-audit-restserver.log /var/log/Bigdata/audit/hbase/ts/hbase-audit-thriftserver.log |
| HDFS | /var/log/Bigdata/audit/hdfs/nn/hdfs-audit-namenode.log /var/log/Bigdata/audit/hdfs/nn/ranger-plugin-audit.log /var/log/Bigdata/audit/hdfs/dn/hdfs-audit-datanode.log /var/log/Bigdata/audit/hdfs/jn/hdfs-audit-journalnode.log /var/log/Bigdata/audit/hdfs/zkfc/hdfs-audit-zkfc.log /var/log/Bigdata/audit/hdfs/httpfs/hdfs-audit-httpfs.log /var/log/Bigdata/audit/hdfs/router/hdfs-audit-router.log |
| Hive | /var/log/Bigdata/audit/hive/hiveserver/hive-audit.log /var/log/Bigdata/audit/hive/hiveserver/hive-rangeraudit.log /var/log/Bigdata/audit/hive/metastore/metastore-audit.log /var/log/Bigdata/audit/hive/webhcat/webhcat-audit.log |
| Hue | /var/log/Bigdata/audit/hue/hue-audits.log |
| Kafka | /var/log/Bigdata/audit/kafka/audit.log |
| Loader | /var/log/Bigdata/loader/audit/default.audit |
| Mapreduce | /var/log/Bigdata/audit/mapreduce/jobhistory/mapred-audit-jobhistory.log |
| Oozie | /var/log/Bigdata/audit/oozie/oozie-audit.log |
| Spark2x | /var/log/Bigdata/audit/spark2x/jdbcserver/jdbcserver-audit.log /var/log/Bigdata/audit/spark2x/jdbcserver/ranger-audit.log /var/log/Bigdata/audit/spark2x/jobhistory/jobhistory-audit.log |
| Storm | /var/log/Bigdata/audit/storm/logviewer/audit.log /var/log/Bigdata/audit/storm/nimbus/audit.log /var/log/Bigdata/audit/storm/supervisor/audit.log /var/log/Bigdata/audit/storm/ui/audit.log |
| Yarn | /var/log/Bigdata/audit/yarn/rm/yarn-audit-resourcemanager.log /var/log/Bigdata/audit/yarn/rm/ranger-plugin-audit.log /var/log/Bigdata/audit/yarn/nm/yarn-audit-nodemanager.log |
| ZooKeeper | /var/log/Bigdata/audit/zookeeper/quorumpeer/zk-audit-quorumpeer.log |
