本章節(jie)介(jie)紹如何創建轉(zhuan)儲的Smart Connect任務,通過(guo)Smart Connect任務可以將Kafka實例中的數(shu)據轉(zhuan)儲至OBS中,實現消息數(shu)據的備份。
源(yuan)Kafka實例中(zhong)的數據會實時同步到轉儲(chu)文件中(zhong)。
約束與限制
- 一個實例最多創建18個Smart Connect任務。
- Smart Connect任務創建成功后,不支持修改任務參數。
前提條件
- 已開啟Smart Connect。
- 已創建Kafka實例,且實例狀態為“運行中”。
- 已創建的OBS桶和Kafka實例需要在同一個區域。
配置Kafka數據轉儲至OBS
1、登錄管理控制(zhi)臺(tai)。
2、在管理控制臺左上角單擊
,選(xuan)擇Kafka實(shi)例所在的區域。
3、在管理控制臺左上角單擊
,選(xuan)擇“應用(yong)服務(wu) > 分布式消息(xi)服務(wu) Kafka”,進入分布式消息(xi)服務(wu)Kafka專享版頁面。
4、單(dan)擊Kafka實例名稱,進(jin)入實例詳情(qing)頁面。
5、在左側導航欄單擊“Smart Connect”,進(jin)入Smart Connect任務列(lie)表頁面。
6、單(dan)擊“創(chuang)建Smart Connect任務”,進入“創(chuang)建smart connect”頁面。
7、在“connect任(ren)(ren)務名稱”中(zhong),輸入Smart Connect任(ren)(ren)務的名稱,用于區分不同的Smart Connect任(ren)(ren)務。任(ren)(ren)務名稱需(xu)要(yao)符(fu)合命名規則(ze):長度為(wei)4~64個(ge)字(zi)符(fu),只能(neng)由英文字(zi)母、數(shu)字(zi)、中(zhong)劃線(xian)、下劃線(xian)組成。
8、在(zai)“預置類型”中,選擇(ze)“轉儲”。
9、在“源(yuan)端配置(zhi)”中(zhong),保持默(mo)認設置(zhi)。
10、在“Topic配置(zhi)(zhi)”中(zhong),設置(zhi)(zhi)以下參數。
表1-1 Topic配置參數說明
| 參數 | 參數說明 |
|---|---|
| 正則表達式 | 表示以正則表達式的方式訂閱Topic,并進行轉儲。 |
| 輸入/選擇 | 輸入/選擇待轉儲的Topic名稱,支持選擇多個Topic,以逗號“,”分隔。最多輸入/選擇20個Topic。 |
11、在“目標端配(pei)置(zhi)”中,設置(zhi)以下參數。
表1-2 目標(biao)端參數(shu)說明
參數 參數說明 轉儲啟動偏移量 支持以下兩種轉儲啟動偏移量:
最(zui)(zui)早:最(zui)(zui)小(xiao)偏移量,即讀取最(zui)(zui)早的(de)數據(ju)。
最新(xin):最大偏(pian)移量,即獲取(qu)最新(xin)的數據。
數據轉儲周期 兩次轉儲的時間間隔(ge),單位:秒,默認配置為(wei)300秒。
若某個時間段內無數據(ju),則此時間段不會(hui)生成打包文件
AK 訪問(wen)密鑰ID。
SK 與訪問密鑰ID結合(he)使用的密鑰。 轉儲地址 設置(zhi)存儲(chu)Topic數據的OBS桶的名稱(cheng)。
選擇(ze):在下拉列表中選擇(ze)已創建(jian)的OBS桶名稱,或(huo)者單擊“創建(jian)轉儲(chu)地址”,新創建(jian)一(yi)個(ge)OBS桶。
輸入(ru):輸入(ru)已(yi)創(chuang)建(jian)的OBS桶名稱,或(huo)者單擊“創(chuang)(chuang)建(jian)轉儲地址(zhi)”,新(xin)創(chuang)(chuang)建(jian)一(yi)個OBS桶。輸入的OBS桶必須和(he)Kafka實例(li)在同一個(ge)區域。
轉儲目錄 OBS中存(cun)儲Topic的(de)目錄,多級目錄可以用(yong)“/”進行分隔。
時間目錄格式 數據將存儲在轉儲目錄下的時間目錄中,時間目錄是按時間格式作為層級的目錄。例如,當選擇的時間目錄格式精確到日時,存儲目錄為:“桶名稱/轉儲目錄/年/月(yue)/日”。 記錄分隔符 在(zai)下拉(la)列表(biao)中選(xuan)擇一種分隔(ge)符,分隔(ge)不(bu)同的轉(zhuan)儲記錄
存儲Key 是否轉(zhuan)儲Key,開(kai)啟表示轉儲Key,關閉表(biao)示不轉儲Key。
說明消息進(jin)行轉儲(chu)時,不支持以Key作為(wei)文件名(ming)。
12、單擊“立即創建”,跳轉到Smart Connect任務列表頁面,頁面右上角顯示“創建xxx任務成功”。
----結束