消費端從服務端拉取不到消息或拉取消息緩慢
更新時間 2024-01-05 15:47:11
最近更新時間: 2024-01-05 15:47:11
分享文章
本文介紹Kafka消費端從服務端拉取不到消息或拉取消息緩慢原因及解決方案
問題現象
Topic中有消息并且Consumer未消費到最新的位置,出現消費端從服務端拉取不到消息或拉取消息緩慢的情況(特別是公網消費時)。
可能原因
消費流量達到網絡帶寬。
單個消息大小超過網絡帶寬。
Consumer每次拉取的消息量超過網絡帶寬。
說明Consumer每次消息的拉取量受以下參數影響:
max.poll.records:每次拉取的最多消息數。
fetch.max.bytes:每次拉取的最大總byte數。
max.partition.fetch.bytes:每個Partition每次拉取的最大總byte數。
解決方案
(1)登錄分布式消息服務Kafka控制臺查詢消息。
如果能查詢到消息,請繼續嘗試以下步驟。
(2)在實例詳情頁面,單擊左側導航欄的監控信息,查看消費流量是否已達到網絡帶寬。
如果消費流量已經達到網絡帶寬,您需要擴充網絡帶寬。
(3)檢查Topic中是否存在單個消息的大小超過網絡帶寬。
如果存在單個消息的大小超過網絡帶寬,請提高網絡帶寬,或者減小單個消息的大小。
(4)檢查Consumer每次拉取的消息量是否超過網絡帶寬。
說明如果每次拉取的消息量超過網絡帶寬,您需要調整以下參數。
網絡帶寬>fetch.max.bytes
網絡帶寬>max.partition.fetch.bytes*總訂閱Partition數