Kafka Manager是開源的Kafka集群管理工具,需要通過瀏覽器才能訪問Kafka Manager的地址。在Kafka Manager頁面,您可以查看Kafka集群的監控、節點等信息。
已正確配置安全組。
登錄Kafka Manager
創建一臺與Kafka專享實例相同VPC和相同安全組的Windows服務器。
獲取Kafka Manager地址。
在實例詳情信息頁面,獲取Kafka Manager的地址。
在瀏覽器中輸入Kafka Manager的地址,進入Kafka Manager登錄頁面。
輸入創建實例時設置的Kafka Manager用戶名和密碼,即可管理Kafka集群。
在進入Kafka Manger集群管理頁面后,您可以查看Kafka集群的監控、節點等信息。
集群信息頁
單擊Clusters中的集群列表,即可進入集群信息頁。如圖所示。
? 圖中①區域表示功能導航欄
Cluster: 集群,統計集群列表和集群詳情。
Brokers: 節點,統計當前集群中各節點的狀態信息。
Topic: 隊列,統計當前集群中的kafka隊列。
Preferred Replica Election: 強制進行一次隊列leader的最優選舉(不建議用戶操作)。
Reassign Partitions: 進行分區副本的重分配(不建議用戶操作)。
Consumers: 統計集群中的消費組狀態。
? 圖中②區域表示集群信息統計,包含集群的Topic數和集群的節點數。
集群信息頁
集群所有節點統計頁
單擊功能導航欄中的Brokers,即可進入節點統計頁。如圖5-4所示。
? 圖中①區域節點列表,包含總的字節流入和字節流出。
? 圖中②集群監控信息。
所有節點統計頁
具體節點統計頁
單擊id列表中具體的Broker,即可查看對應節點的統計信息。如圖5-5所示。
? 圖中①區域表示對應節點總的統計信息,包括隊列數、分區數、分區leader數、消息速率占比、寫入字節占比以及流出字節占比。
? 圖中②區域表示節點監控信息。
具體Broker信息
查看實例的Topic
在導航欄選擇Topic,并在下拉列表中選擇List。頁面如圖5-6所示,展示了隊列列表以及分區數等。
列表中以“__”開頭的隊列為內部隊列,嚴禁操作,否則可能導致業務問題。
查看實例的Topic
隊列詳情頁
單擊具體的Topic名稱,進入如圖5-7所示頁面。
? 圖中①區域表示隊列基本信息,包括副本數(Replication),分區數(Number of Partitions),消息數(Sum of partition offsets)等。
? 圖中②區域表示節點與隊列分區的對應關系。
? 圖中③區域表示該隊列的消費組列表。單擊消費組名稱可進入該消費組的詳情頁。
? 圖中④區域表示隊列的配置信息。詳情參考kafka隊列官方配置文檔(//kafka.apache.org/documentation/#topicconfigs)。
? 圖中⑤區域表示隊列監控數據統計。
? 圖中⑥區域表示隊列分區信息,包括分區消息數(Latest Offset),分區leader(Leader),副本列表(Replicas),同步副本列表(In Sync Replicas)。
隊列詳情頁
查看消費組列表
導航欄中單擊Consumers頁簽,即可查看當前集群中的消費組列表。
集群的消費組列表
查看消費組詳情頁
單擊消費組名稱可進入消費組詳情頁面,展示消費組消費的所有隊列列表以及每個隊列的可消費數(Total Lag)。
消費組詳情頁面
查看消費組隊列詳情頁
單擊隊列名稱,即可進入詳情頁面,查看消費組消費在隊列中每個分區的消費狀態。包括分區編號(Partition),分區消息數(LogSize),分區消費進度(Consumer Offset),分區剩余可消費數(Lag),最近消費該分區的消費者(Consumer Instance Owner)。
消費組隊列詳情頁面