功能說明
本章節定(ding)義(yi)了分布式消息(xi)(xi)服務(wu)Kafka上報云監(jian)(jian)控(kong)服務(wu)的(de)監(jian)(jian)控(kong)指(zhi)(zhi)標的(de)命名空間(jian),監(jian)(jian)控(kong)指(zhi)(zhi)標列表和維度定(ding)義(yi),您可以通過云監(jian)(jian)控(kong)服務(wu)的(de)管理控(kong)制(zhi)臺(tai)或(huo)API接(jie)口來(lai)檢索Kafka實例產生的(de)監(jian)(jian)控(kong)指(zhi)(zhi)標和告(gao)警信息(xi)(xi),也可以通過分布式消息(xi)(xi)服務(wu)Kafka控(kong)制(zhi)臺(tai)提供(gong)的(de)“監(jian)(jian)控(kong)”頁面來(lai)檢索Kafka實例產生的(de)監(jian)(jian)控(kong)指(zhi)(zhi)標。
命名空間
SYS.DMS
實例監控指標
表(biao) 實例支持的監控(kong)指標
| 指標ID | 指標名稱 | 指標含義 | 取值范圍 | 測量對象 | 監控周期(原始指標) |
|---|---|---|---|---|---|
| current_partitions | 分區數 | 該指標用于統計Kafka實例中已經使用的分區數量。單位:Count | 0~1800 | Kafka實例 | 1分鐘 |
| current_topics | 主題數 | 該指標用于統計Kafka實例中已經創建的主題數量。單位:Count | 0~1800 | Kafka實例 | 1分鐘 |
| group_msgs | 堆積消息數 | 該指標用于統計Kafka實例中所有消費組中總堆積消息數。單位:Count | 0~1000000000 | Kafka實例 | 1分鐘 |
節點監控指標
表 節點(dian)支(zhi)持(chi)的監控(kong)指(zhi)標
指標ID 指標名稱 指標含義 取值范圍 測量對象 監控周期(原始指標) broker_data_size 節(jie)點(dian)數(shu)據容量 該指標用于統計節點當前的消息數據大小。單位:Byte、KB、MB、GB、TB、PB 0~5000000000000 Kafka實例(li)節點 1分鐘 broker_messages_in_rate 消息生產速率 該(gai)指標用于統計每秒(miao)生(sheng)產的消息數量。單位:Count/s 0~500000 Kafka實例節點 1分鐘 broker_bytes_out_rate 消費流量 該(gai)指(zhi)標用于統(tong)計(ji)每秒消費的字節數。單位(wei):Byte/s、KB/s、MB/s、GB/s 0~500000000 Kafka實(shi)例節點 1分鐘 broker_bytes_in_rate 生(sheng)產(chan)流量 該指標用于統計每秒生產的字(zi)節(jie)數。單位:Byte/s、KB/s、MB/s、GB/s 0~500000000 Kafka實例節點 1分鐘 broker_public_bytes_in_rate 公網入流量(liang) 統(tong)計Broker節點(dian)每秒公網訪問流(liu)(liu)入流(liu)(liu)量。單位:Byte/s、KB/s、MB/s、GB/s
說明已開啟公網訪問,并且設置了彈性IP地址的實(shi)例,請在(zai)彈性公網IP服務中查(cha)看此監控指標。
0~500000000 Kafka實(shi)例節點 1分鐘 broker_public_bytes_out_rate 公網出流量 統計Broker節點每秒公網訪問流出流量。單位:Byte/s、KB/s、MB/s、GB/s
說明已開啟公(gong)網訪問,并且設置(zhi)了彈性IP地(di)址的實(shi)例,請在彈性公(gong)網IP服務中查看此監(jian)控指(zhi)標。
0~500000000 Kafka實例節點(dian) 1分鐘 broker_fetch_mean 消費請求平均處理時(shi)長 統計Broker節點處(chu)理消費請求平均時(shi)長。單(dan)位(wei):ms 0~10000 Kafka實例節點 1分鐘 broker_produce_mean 生產請求平均處(chu)理(li)時(shi)長(chang) 統(tong)計Broker節點處理生產請求平均時長(chang)。單位:ms 0~10000 Kafka實例(li)節點 1分鐘 broker_cpu_core_load CPU核均負載 該指標(biao)為(wei)從Kafka節點虛擬機層面采集的CPU每個(ge)核的平均(jun)負載。單位:% 0~20 Kafka實(shi)例節(jie)點 1分鐘 broker_disk_usage 磁盤(pan)容量使用率 該指標為從Kafka節點虛擬機層面采集(ji)的磁盤容量(liang)使用率。單位:% 0~100% Kafka實例節點 1分鐘 broker_memory_usage 內存使(shi)用率 該指(zhi)標為Kafka節點(dian)虛擬機層面采集的內存使用率(lv)。單位:% 0~100% Kafka實例節點 1分鐘 broker_heap_usage Kafka進程(cheng)JVM堆(dui)內存(cun)使用率(lv) 該(gai)指標從Kafka節點Kafka進程JVM中采集(ji)的堆內(nei)存使用率。單位:% 0~100% Kafka實例(li)節(jie)點 1分鐘 broker_alive 節點存活狀(zhuang)態 表示Kafka節(jie)點是否存活。
1:存活(huo)
0:離線
Kafka實例節(jie)點 1分鐘 broker_connections 連接數(shu) 統(tong)計Kafka節點當前所有TCP連接數量。單位:Count 0~65535 Kafka實例節點(dian) 1分鐘 broker_cpu_usage CPU使(shi)用率 統計Kafka節點虛擬(ni)機(ji)的CPU使(shi)用率(lv)。單位(wei):% 0~100% Kafka實例節點 1分鐘 broker_disk_read_await 磁盤平均讀操作耗(hao)時 該(gai)指標用于統計磁(ci)盤(pan)在(zai)測量周期內平(ping)均每個讀IO的(de)操作時長(chang)。單位:ms >0 Kafka實(shi)例節點(dian) 1分鐘 broker_disk_write_await 磁盤平均寫(xie)操(cao)作(zuo)耗時 該指標用于統計(ji)磁盤在測量周期內平均(jun)每個寫IO的操作時長(chang)。單位:ms >0 Kafka實例節(jie)點 1分鐘 broker_total_bytes_in_rate 網絡入流量 統計Broker節點每秒網絡訪問流入(ru)流量。單位:Byte/s 0~1000000000 Kafka實例節點 1分鐘 broker_total_bytes_out_rate 網絡出流量 統(tong)計Broker節點每秒(miao)網絡訪問流出(chu)流量。單位:Byte/s 0~1000000000 Kafka實例節點 1分鐘 broker_disk_read_rate 磁盤讀流(liu)量 磁(ci)盤讀操(cao)作(zuo)流(liu)量。單位:Byte/s、KB/s、MB/s、GB/s >=0 Kafka實(shi)例節點 1分鐘 broker_disk_write_rate 磁盤寫(xie)流(liu)量 磁盤寫操(cao)作流量(liang)。單位:Byte/s、KB/s、MB/s、GB/s >=0 Kafka實例節點 1分鐘
主題監控指標
表(biao)主題(ti)支持的(de)監控指標
指標ID 指標名稱 指標含義 取值范圍 測量對象 監控周期(原始指標) topic_bytes_in_rate 生(sheng)產流(liu)量 該(gai)指標用(yong)于統計(ji)每秒生產(chan)的字節數。單位:Byte/s、KB/s、MB/s、GB/s
說明在“主(zhu)題”頁簽,當“監控類型(xing)”為“基(ji)本監控”時,才包含該(gai)指標。
0~500000000 Kafka實例隊列 1分鐘 topic_bytes_out_rate 消費流量 該指標用于(yu)統計每秒消費(fei)的字節數(shu)。單位:Byte/s、KB/s、MB/s、GB/s
說明在“主題”頁簽(qian),當“監控類型”為“基本監控”時,才包含(han)該指標。
0~500000000 Kafka實(shi)例隊列 1分鐘 topic_data_size 隊列數據容量(liang) 該指標(biao)用于統計(ji)隊列當前的消息數據大小。單位:Byte、KB、MB、GB、TB、PB
說明在“主題”頁簽,當“監(jian)控(kong)類型”為(wei)“基本監(jian)控(kong)”時,才包含該(gai)指標(biao)。
0~5000000000000 Kafka實例隊(dui)列 1分鐘 topic_messages 隊列消息(xi)總數 該指標用于統計(ji)隊列當前的消息總數。單位:Count
說明在“主題”頁(ye)簽,當“監控(kong)類型(xing)”為“基(ji)本監控(kong)”時(shi),才包(bao)含該指標。
≥ 0 Kafka實例隊列(lie) 1分鐘 topic_messages_in_rate 消息生產速率 該指標用于統計每秒生產的消息(xi)數(shu)量。單(dan)位:Count/s
說明在“主題”頁簽,當“監(jian)控類型(xing)”為“基本監(jian)控”時,才包含該指標(biao)。
0~500000 Kafka實例(li)隊(dui)列 1分鐘 partition_messages 分區消息(xi)數 該(gai)指標用于統計分區中當(dang)前的消息個(ge)數(shu)。單位(wei):Count
說明在“主題”頁簽,當“監(jian)控類型”為(wei)“分區監(jian)控”時(shi),才(cai)包(bao)含(han)該指標。
≥ 0 Kafka實例隊列 1分鐘 produced_messages 生產消息數 該指標用于統計目前(qian)生產的消息總數。單位:Count
說明在(zai)“主題”頁簽,當(dang)“監控類(lei)型”為“分區監控”時,才包含該指(zhi)標。
≥ 0 Kafka實例隊列(lie) 1分鐘
消費組監控指標
表 消(xiao)費組支持的監控指標
指標ID 指標名稱 指標含義 取值范圍 測量對象 監控周期(原始指標) messages_consumed 分區(qu)已消(xiao)費消(xiao)息數 該指標用(yong)于統計當前消(xiao)費(fei)組已經消(xiao)費(fei)的(de)消(xiao)息(xi)個數。單(dan)位(wei):Count
說明在“消費組(zu)”頁簽,“主(zhu)題”為(wei)指定的(de)Topic名稱,“監(jian)控類型”為(wei)“分(fen)區(qu)監(jian)控”時,才包含該指標。
≥ 0 Kafka實例的消費組(zu) 1分鐘 messages_remained 分區可消費消息數 該指標用于統計消(xiao)(xiao)費組(zu)可消(xiao)(xiao)費的消(xiao)(xiao)息(xi)個數。單位(wei):Count
說明在(zai)“消費組”頁簽,“主題(ti)”為指定(ding)的Topic名稱,“監(jian)控類型”為“分區監(jian)控”時,才包含該指標。
≥ 0 Kafka實例的消費組 1分鐘 topic_messages_remained 隊(dui)列可消(xiao)費消(xiao)息數(shu) 該指(zhi)標用(yong)于統計消(xiao)費組指(zhi)定隊(dui)列(lie)可以消(xiao)費的消(xiao)息個數。單(dan)位:個
說明在(zai)“消(xiao)費組”頁簽,“主題”為指(zhi)定的Topic名(ming)稱,“監(jian)控(kong)(kong)類型”為“基本(ben)監(jian)控(kong)(kong)”時,才包含(han)該(gai)指(zhi)標。
0~(263-1) Kafka實例的消費組 1分鐘 topic_messages_consumed 隊(dui)列已消(xiao)費(fei)消(xiao)息數(shu) 該指(zhi)標用于統計消(xiao)費(fei)組指(zhi)定隊列當前(qian)已經消(xiao)費(fei)的消(xiao)息數。單位:個
說明在“消費組”頁(ye)簽(qian),“主題”為(wei)指定的Topic名稱(cheng),“監控類型”為(wei)“基本(ben)監控”時,才包含該指標(biao)。
0~(263-1) Kafka實例(li)的消費組 1分鐘 consumer_messages_remained 消費組可消費消息數(shu) 該指標用于統計消(xiao)(xiao)費組剩余可以消(xiao)(xiao)費的消(xiao)(xiao)息個數(shu)。單位:個
說明在“消(xiao)費組(zu)”頁簽,“主(zhu)題”為(wei)“全部隊列”時(shi),才(cai)包含該指(zhi)標。
0~(263-1) Kafka實例的(de)消費組 1分鐘 consumer_messages_consumed 消費(fei)組已消費(fei)消息數 該指標(biao)用于統計消(xiao)費(fei)組當(dang)前已經消(xiao)費(fei)的消(xiao)息數(shu)。單位:個
說明在“消(xiao)費組”頁(ye)簽,“主題”為“全部隊列(lie)”時,才包(bao)含該指標(biao)。
0~(263-1) Kafka實例的消(xiao)費組 1分鐘
維度
| Key | Value |
|---|---|
| kafka_instance_id | Kafka實例 |
| kafka_broker | Kafka實例節點 |
| kafka_topics | Kafka實例主題 |
| kafka_partitions | Kafka實例分區 |
| kafka_groups-partitions | Kafka實例分區的消費組 |
| kafka_groups_topics | Kafka實例隊列的消費組 |
| kafka_groups | Kafka實例的消費組 |