分布式消息服務Kafka 是一個分布式、高吞吐量、高可用的消息隊列服務，針對開源的 Kafka 提供全托管服務，解決開源產品長期以來的痛點，用戶只需專注于業務開發，無需部署運維，低成本、更彈性、更可靠，廣泛用于日志收集、監控數據聚合、流式數據處理、在線和離線分析等大數據領域，是大數據生態中不可或缺的產品之一。

關于Kafka的幫助手冊閱讀指引

考慮到篇幅的限制，我們提供的Kafka用戶手冊主要描述了產品相關的信息，以及與開源社區版Kafka的差異，如天翼云Kafka的產品規格、控制臺操作、API接口調用，以及客戶端對接等方面。

如果您需要了解Kafka的基礎入門知識或者消息的生產和消費等技術細節，請查閱Kafka官網資料。

產品架構

• Broker：消息中間件處理結點，一個Kafka節點就是一個broker，多個broker可以組成一個Kafka集群。
• Topic：主題 一類消息的集合。
• Partition：分區，topic物理上的分組，一個topic可以分為多個partition，每個partition是一個有序的隊列。
• Segment：partition物理上由多個segment組成。
• offset：每個partition都由一系列有序的、不可變的消息組成，這些消息被連續的追加到partition中。partition中的每個消息都有一個連續的序列號叫做offset,用于partition唯一標識一條消息。
• Producer：消息和數據生成者，一般為應用調用API進行消息生產，并向Kafka的Topic發布消息。
• Consumer：消息訂閱者，也成為消息消費者，負責向 Kafka Broker 讀取消息并進行消費。
• Consumer Group：一類Consumer的集合名稱，這類Consumer通常消費一類消息，且消費邏輯一致，Consumer Group 和 Topic 的關系是 N：N，同一個 Consumer Group 可以訂閱多個 Topic，同一個 Topic 也可以被多個 Consumer Group 訂閱。

更多信息請參見名詞解釋。

開源對比

相較于開源自建Kafka，分布式消息服務Kafka在低成本運維、分區規模、消息查詢、ACL訪問控制、可視化配置、運維監控、集群巡檢、穩定可靠、安全保證、簡單易用等方面更具優勢。更多信息請參見開源對比。

產品優勢

分布式消息服務Kafka具備高可用性、高安全性、可靠性、全托管等優勢，使其成為大規模數據處理和實時流處理的理想選擇。更多信息請參見產品優勢。

功能特性

分布式消息服務Kafka的功能特性主要體現在以下幾個方面：

消息能力

• 廣播消息：在同一個消費組內對所有消費者投遞相同消息。
• 消息回溯：支持根據時間重置消費進度。
• 消息數據自動刪除功能：在磁盤滿后，在保護期外的數據，能自動刪除，保證服務可用性。
• 自動故障切換功能：生產消費自動負載均衡，消息節點故障時自動主備切換，保證服務的連續性。

隊列能力

• 高吞吐，消息多副本異步復制。
• 高可靠，消息多副本同步復制。

可視化管理

• 應用用戶管理：多個應用可調用同一個消息服務，通過應用用戶，對消息服務下的應用接入權限進行管理。
• 主題管理：支持對實例下的主題進行管理，執行創建刪除等操作。
• 消費組管理：支持對實例下的消費組進行管理。
• Broker監控：提供Broker詳細信息以及多維度的監控指標查看。
• Topic監控：提供Topic詳細信息以及多維度的監控指標查看。

安全防護

• 可追溯租戶管理操作的記錄。
• 提供用戶鑒權和SASL授權訪問機制，提供企業級的安全防護。

更多信息請參見功能特性。

應用場景

分布式消息服務kafka適用于物聯網、電信、電子商務、金融服務等等行業，通常用于業務的流計算處理、日志聚合等場景。更多信息請參見應用場景。

使用限制

分布式消息服務kafka對實例、Topic等對象信息進行限制，使用時注意不要超過限制，以免程序出現異常。更多信息請參見使用限制。