集群中部分服務提供服務級別的資源監控項,默認顯示12小時的監控數據。用戶可單擊
自定義時間區間,缺省時間區間包括:12小時、1天、1周、1月。單擊
可導出相應報表信息,無數據的監控項無法導出報表。支持資源監控的服務及監控項如下表所示。
登錄FusionInsight Manager以后,選擇“集群 > 待操作集群的名稱 > 服務”后,選擇待操作的服務,單擊“資源”,進入資源監控頁面。
服務資源監控
服務 監控指標 說明 HDFS
資源使用(按租戶)
l? ? 按租戶統計HDFS的資源使用情況。
l? ? 可選擇按“容量”或“文件對象數”觀察。
資源使用(按用戶)
l? ? 按用戶統計HDFS的資源使用情況。
l? ? 可選擇按“已使用容量”或“文件對象數”觀察。
資源使用(按目錄)
l? ? 按目錄統計HDFS的資源使用情況。
l? ? 可選擇按“已使用容量”或“文件對象數”觀察。
l? ? 單擊
配置空間監控,可以指定HDFS文件系統目錄進行監控。
資源使用(按副本)
l? ? 按副本數統計HDFS的資源使用情況。
l? ? 可選擇按“已使用容量”或“文件數”觀察。
資源使用(按文件大小)
l? ? 按文件大小統計HDFS的資源使用情況。
l? ? 可選擇按“已使用容量”或“文件數”觀察。
回收站(按用戶)
l? ? 按用戶統計HDFS回收站的使用情況。
l? ? 可選擇按“回收站容量”或“文件對象數”觀察。
操作數
l? ? 統計HDFS中操作數。
自動balance
l? ? 統計HDFS自動balancer的執行速度以及本次balancer當前遷移的總容量大小。
NameNode RPC連接數(按用戶)
l? ? 按用戶統計連接到NameNode的Client RPC請求中,各個用戶的連接數。
慢DataNode節點
集群中數據傳輸或處理慢的DataNode節點。
慢磁盤
集群中DataNode節點上數據處理慢的磁盤。
HBase
表級別操作請求次數
所有RegionServer上的所有表中put、delete、get、scan、increment、append操作請求次數。
RegionServer級別操作請求次數
RegionServer中put、delete、get、scan、increment、append操作請求次數以及所有操作請求次數。
服務級別操作請求次數
RegionServer上所有Region中put、delete、get、scan、increment、append操作請求次數。
RegionServer級別HFile數
所有RegionServer中HFile數。
Hive
HiveServer2-Background-Pool線程數(按IP)
周期內統計并顯示Top用戶的HiveServer2-Background-Pool線程數。
HiveServer2-Handler-Pool線程數(按IP)
周期內統計并顯示Top用戶的HiveServer2-Handler-Pool數監控。
MetaStore使用數(按IP)
Hive周期內統計并顯示Top用戶的MetaStore使用數。
Hive的Job數
Hive周期內統計并顯示用戶相關的Job數目。
Split階段訪問的文件數
統計Hive周期內Split階段訪問底層文件存儲系統(默認:HDFS)的文件數。
Hive基本操作時間
Hive周期內統計底層創建目錄(mkdirTime)、創建文件(touchTime)、寫文件(writeFileTime)、重命名文件(renameTime)、移動文件(moveTime)、刪除文件(deleteFileTime)、刪除目錄(deleteCatalogTime)所用的時間。
表分區個數
Hive所有表分區個數監控,返回值的格式為:數據庫#表名,表分區個數。
HQL的Map數
Hive周期內執行的HQL與執行過程中調用的Map數統計,展示的信息包括:用戶、HQL語句、Map數目。
HQL訪問次數
周期內HQL訪問次數統計信息。
Kafka
Kafka磁盤使用率分布
Kafka集群的磁盤使用率分布統計。
Spark2x
HQL訪問次數
周期內HQL訪問次數統計信息,展示信息包括用戶名,HQL語句,執行該語句的次數。
Yarn
資源使用(按任務)
l? ? 任務使用的CPU核數和內存。
l? ? 可選擇“按內存”或“按CPU”觀察。
資源使用(按租戶)
l? ? 租戶所使用的CPU核數和內存。
l? ? 可選擇“按內存”或“按CPU”觀察。
資源使用比例(按租戶)
l? ? 租戶所使用的CPU核數和內存的比例。
l? ? 可選擇“按內存”或“按CPU”觀察。
任務耗時排序
對Yarn任務耗時進行排序顯示。
ResourceManager RPC連接數(按用戶)
統計連接到RM的Client RPC請求中,各個用戶的連接數。
操作數
統計Yarn每種操作類型對應的操作數及占比。
隊列中任務資源使用排序
l? ? 在界面上選擇某個隊列(租戶)后,顯示在該隊列中正在運行任務的消耗資源排序。
l? ? 可選擇“按內存”或“按CPU”觀察。
隊列中用戶資源使用排序
l? ? 在界面上選擇某個隊列(租戶)后,顯示在該隊列中正在運行任務的用戶消耗的資源排序。
l? ? 可選擇“按內存”或“按CPU”觀察。
ZooKeeper
資源使用(按二級Znode)
l? ? ZooKeeper服務二級znode資源狀況。
l? ? 可選擇“按Znode數量”或“按容量”觀察
連接數(按客戶端IP)
ZooKeeper客戶端連接資源狀況。