背景信息
在云原生和大數據成本優化的大趨勢下，分布式消息Kafka引入彈性存儲功能，正是為了應對傳統架構中“高成本、難擴展、利用率低”的痛點。通過彈性存儲能力，實現存儲成本的顯著下降和資源的按需使用，使企業能夠以更經濟的方式處理海量流數據。彈性存儲能力核心優勢如下：
顯著降低存儲成本
對象存儲的費用通常僅為超高IO云盤費用的7.5%~10%，并且冷數據存儲在遠端只需存儲一個副本。通過將不常訪問的歷史數據遷移到對象存儲，企業可以在保留更長數據保留周期的同時，大幅降低總體擁有成本。
實現按需使用、彈性擴展
彈性存儲解耦了計算與存儲。對象存儲具備近乎無限的擴展能力，無需預先規劃容量。用戶可以根據業務需求靈活延長數據保留時間（如從 7 天延長至 90 天甚至更久），而無需擔心存儲瓶頸。
提升資源利用率與運維效率
本地磁盤資源專注于服務高頻訪問的熱數據，提升集群性能；冷數據由對象存儲承載，減輕 Kafka服務端的存儲壓力。同時，減少了因存儲不足而頻繁擴容的運維負擔。
支持更多數據應用場景
低成本的長期數據保留使得 Kafka 不僅可用于實時流處理，還可作為事件溯源、數據湖入湖前的緩沖層、合規歸檔等場景的統一數據平臺，提升數據價值。
技術原理
本地存儲
本地存儲服務寫流量/追尾讀，提供與原Kafka實例一致的延時、可用性和一致性。
遠程存儲故障或者性能衰退，本地存儲支持彈性擴容提供讀寫服務，參考智能運維中磁盤自動擴容能力。
遠程存儲
遠程存儲服務追趕讀，對比本地存儲時延較高，吞吐量降低。
按需使用，按量計費。
單副本存儲，遠端存儲提供數據的可靠性。
功能說明
使用限制
引擎版本
當前僅在 Kafka 3.6.x或以上引擎版本支持彈性存儲。
地域
僅在Ⅱ類資源池支持。
彈性存儲Topic禁止使用事務消息
暫時不建議在該形態下使用事務消息，如需使用，該Topic可不開啟彈性存儲。
開放范圍
功能處于白名單狀態，如需使用，請您聯系我們。
使用說明
彈性存儲的確定基于實際業務場景的吞吐量和存儲量需求，還需要綜合考慮以下幾點：
| 考慮點 | 建議 |
|---|---|
| 本地磁盤存儲空間 | 本地磁盤存儲空間 =（未開啟彈性存儲的Topic存儲量 + 彈性存儲Topic本地熱數據存儲量） * 130%
|
| 消息本地保留時長 | 默認為1小時。建議根據業務實際消費場景調整，如消費者經常消費落后1.5小時，則需要調大到2小時。 |
| 分區分片大小 | 默認為1G，彈性存儲Topic可以適當調小至128MB~1024MB之間，因為數據生命周期管理以分區分片為單位，消息數據量必須滿一分片才會上傳彈性存儲或超時清理。 |
以以下實際場景來舉例是否開啟彈性存儲空間的區別和配置考慮：
| 場景 | 彈性存儲集群 | 普通集群 |
|---|---|---|
業務數據量30M/s左右 3副本主題，生產消費1:1，分區100個，消息保留24小時（約2531GB業務數據） |
|
|
步驟一：創建Kafka實例（3.6.x版本或以上）
需訂購好3.6.x引擎版本或以上的分布式消息Kafka實例，具體操作可參考創建實例。
步驟二：開啟實例彈性存儲
（1）登錄管理控制臺。
（2）進入Kafka管理控制臺。
（3）在實例列表頁在操作列，目標實例行點擊“管理”，進入實例詳情。
（4）在實例詳情頁打開“彈性存儲”開關按鈕，選擇用于存儲遠端數據的對象存儲Bucket和填寫對應具備讀寫權限的ak、sk。點擊提交。
（5）等待集群開啟變更完成，集群會發生輪訓重啟，等待重啟完成即可。
步驟三：配置Topic的彈性存儲屬性與本地保留時長
（1）登錄管理控制臺。
（2）進入Kafka管理控制臺。
（3）在實例列表頁在操作列，目標實例行點擊“管理”。
（4）點擊“Topic管理”后，選擇指定的Topic點擊其右側“編輯”按鈕。
（5）打開“是否開啟彈性存儲”開關，點擊“修改”保存。
計費說明
該功能本地存儲使用訂購實例時的磁盤存儲，具體費用可參考“分布式消息Kafka資費”， 遠端存儲費用為對象存儲費用。該功能無額外收取其他費用。
