創建Topic
更新時間 2025-06-16 11:55:26
最近更新時間: 2025-06-16 11:55:26
分享文章
介紹 分布式消息服務Kafka創建Topic的功能操作內容。
場景描述
Kafka的新建主題操作適用于以下場景:
- 系統擴展:當系統需要擴展以處理更多的數據時,可以通過新建主題來增加數據存儲和處理的容量。管理員可以根據系統需求創建新的主題,并配置適當的分區和副本數量。
- 數據分流:在某些情況下,需要將特定類型或特定來源的數據分流到不同的主題中進行處理。通過新建主題,可以為這些特定的數據流創建專門的主題,并將相應的數據寫入這些主題中。
- 數據分析和實時處理:新建主題可以用于數據分析和實時處理場景。根據不同的分析需求,可以為特定的分析任務創建新的主題,將相關的數據寫入這些主題中供分析和處理。
- 業務需求變更:當業務需求發生變化時,可能需要創建新的主題來適應新的數據處理流程或數據存儲需求。通過新建主題,可以根據新的業務需求重新組織和管理數據。
- 數據隔離和權限控制:有時候需要對不同的數據進行隔離和權限控制,以確保數據的安全性和私密性。通過新建主題,可以為不同的數據創建獨立的主題,并設置相應的權限和訪問控制規則。
總之,Kafka的新建主題操作適用于各種需要擴展、分流、分析和處理數據的場景,以及應對業務需求變更和數據隔離的需求。
操作步驟
創建Topic
(1)登錄管理控制臺。
(2)進入Kafka管理控制臺。
(3)在實例列表頁在操作列,目標實例行點擊“管理”。
(4)點擊“Topic管理”后、點擊“創建Topic”。
(5)點擊“創建Topic”后,輸入Topic名稱、分區數等參數。
表:Topic參數說明
| 參數 | 參數說明 |
|---|---|
| Topic名稱 | Topic名稱,英文字母、數字、下劃線開頭,且只能由英文字母、數字、中劃線、下劃線組成,長度為3-64個字符。創建Topic后不能修改名稱。 |
| 分區數 | 您可以設置Topic的分區數,分區數越大消費的并發度越大。該參數設置為1時,消費消息時會按照先入先出的順序進行消費。取值范圍:1-100,默認值:6 |
| 副本數 | 每個Topic設置副本的數量,Kafka會自動在每個副本上備份數據,當其中一個Broker節點故障時數據依然是可用的,副本數越大可靠性越高。默認值:3 |
| 分區容量 | 每個分區的數據量的最大值,超過這個值后前面生產的消息將會被刪除,保證了數據不會無限上漲擠爆磁盤。 |
| 是否同步刷盤 | 同步刷盤即確保消息被寫入磁盤才會被認定為生產成功,該參數可提高可靠性,但是會影響性能。 |
| 消息保留時長 | 當消息生存時間超過該時長后,將會被清理,可用于控制存儲成本。 |
| 最小同步副本數 | 該參數使得消息必須寫入設定值個數的副本后,才能被認定生產成功,該參數可提高可靠性,但是過大會影響性能,且必須不大于副本數。 |
| 批處理消息最大值 | 每個批次中最大允許的消息大小,這影響了每次請求中能包含的消息總量和大小。 |
| 消息時間戳類型 | CreateTime: 這是消息被生產者發送到Kafka時的時間戳,它表示消息創建的實際時間;LogAppendTime: 這是消息被Kafka日志接收并寫入到日志文件時的時間戳,它表示消息寫入 Kafka 的實際時間。 |
| 描述 | topic的描述字段,可用作標記和說明。 |
| 標簽 | 標簽用于從不同維度對資源分類管理。 |
| 預設ACL策略 | 勾選提前設置好的 ACL 策略,具體 ACL 策略設置可參考用戶管理頁面的ACL策略管理。 |
| 消息清除策略 | delete:超過消息保留時長后,消息將被刪除。compact:超過消息保留時長后,消息將會被壓縮而不是直接刪除。 |
| 允許unclean副本選舉 | 開啟該選項后,不在ISR的副本也將可以參與leader選舉。 |
| 分片滾動時間 | 當一個日志段的最老消息的創建時間與當前時間的差值達到該配置的值時,Kafka 會創建一個新的日志段。 |
| 分片大小 | 當一個日志段的大小達到該配置的值時,Kafka 會創建一個新的日志段。該配置和分片滾動時間配置可以同時使用,具體看哪個條件先行觸發。 |
批量創建Topic
(1)登錄管理控制臺。
(2)進入Kafka管理控制臺。
(3)在實例列表頁在操作列,目標實例行點擊“管理”。
(4)點擊“Topic管理”后、點擊“導入Topic”。
(5)點擊“導入Topic”后,出現如下界面,點擊“下載模板”按鈕,獲取模板,修改后上傳進行導入。
(6)點擊“上傳文件”完成批量創建。
模板如下。
表:參數說明。
| 參數 | 說明 |
|---|---|
| topic | topic名稱。 |
| partition number | 分區數量 |
| factor number | 副本數量 |
| description | 描述 |