CDM作業管理界面的“配置管理”頁簽,主要操作如下:
- CDM作業最大抽取并發數
- CDM作業定時備份/恢復
- CDM作業參數的環境變量
CDM作業最大抽取并發數
最大抽取并發數取值范圍為1-300,用于限制作業運行的總抽取并發數。如果當前所有作業總并發數超過限制,超過部分將排隊等待。請您參考各單作業抽取并發數估算最大總抽取并發數。
單作業的抽取并發量配置原則如下:
CDM遷移作業的抽取并發數,與集群規格和表大小有關。并發抽取數取值范圍為1-300,若配置過大,則以隊列的形式進行排隊。
建議每1CUs(1CUs=1核4G)配置為4,如下表所示,您也可以根據實際情況進行調整。另外,每行數據大小為1MB以下的可以多并發抽取,超過1MB的建議單線程抽取數據。
說明
遷移的目的端為文件時,CDM不支持多并發,此時應配置為單進程抽取數據。
單作業的抽取并發數,受到作業“配置管理”中所配置的“最大抽取并發數”影響。“最大抽取并發數”配置的是抽取并發總數。
表 抽取并發數參考配置
| CDM集群規格 | vCPUs/內存 | 抽取并發數參考配置 |
|---|---|---|
| cdm.large | 8核16GB | 16 |
| cdm.xlarge | 16核32GB | 32 |
| cdm.4xlarge | 64核128GB | 128 |
CDM作業定時備份/恢復
該功能依賴于OBS服務。
- 前提條件
已創建配置OBS連接。
- 定時備份
在CDM作業管理界面,單擊“配置管理”頁簽,配置定時備份的參數。
表 定時備份參數
| 參數 | 說明 | 配置樣例 |
|---|---|---|
| 定時備份 | 自動備份功能的開關,該功能只備份作業,不會備份連接。 | 開 |
| 備份策略 | 所有作業:不管作業處于什么狀態,CDM會備份所有表/文件遷移作業、整庫遷移的作業。不備份歷史作業。 分組作業:選擇備份某一個或多個分組下的作業。 |
所有作業 |
| 備份周期 | 選擇備份周期: 日:每天零點執行一次。 周:每周一零點執行一次。 月:每月1號零點執行一次。 |
日 |
| 備份寫入OBS連接 | CDM通過該連接,將作業備份到OBS,需要用戶提前在“連接管理”界面創建好OBS連接。 | obslink |
| OBS桶 | 存儲備份文件的OBS桶。 | cdm |
| 備份數據目錄 | 存儲備份文件的目錄。 | /cdm-bk/ |
- 恢復作業
如果之前執行過自動備份,“配置管理”頁簽下會顯示備份列表:顯示備份文件所在的OBS桶、路徑、備份時間。
您可以單擊備份列表操作列的“恢復備份”來恢復CDM作業。
CDM作業參數的環境變量
CDM在創建遷移作業時,可以手動輸入的參數(例如OBS桶名、文件路徑等)、參數中的某個字段、或者字段中的某個字符,都支持配置為一個全局變量,方便您批量更改作業中的參數值,以及作業導出/導入后進行批量替換。
這里以批量替換作業中OBS桶名為例進行介紹。
1.在CDM作業管理界面,單擊“配置管理”頁簽,配置環境變量。
bucket_1=A
bucket_2=B
這里以變量“bucket_1”表示桶A,變量“bucket_2”表示桶B。
2.在創建CDM遷移作業的界面,遷移桶A的數據到桶B。
源端桶名配置為 {bucket_1} ,目的端桶名配置為 {bucket_2} 。
圖 桶名配置為環境變量

3.如果下次要遷移桶C數據到桶D,則無需更改作業參數,只需要在“配置管理”界面將環境變量改為如下即可:
bucket_1=C
bucket_2=D