CDM Job
更新時間 2023-07-18 16:55:59
最近更新時間: 2023-07-18 16:55:59
分享文章
本章節主要介紹節點參考的 CDM Job。
功能
通過CDM Job節點執行一個預先定義的CDM作業，實現數據遷移功能。
參數
用戶可參考以下表中配置CDM Job節點的參數。配置血緣關系用以標識數據流向，在數據目錄模塊中可以查看。
屬性參數
| 參數 | 是否必選 | 說明 |
|---|---|---|
| CDM集群名稱 | 是 | 選擇待執行的CDM作業所屬的CDM集群。此處支持勾選兩個CDM集群，用于提升作業可靠性。 勾選兩個集群后，第一個勾選的集群為主集群，第二個勾選的集群為備集群。作業會默認運行在主集群上，當主集群狀態異常后，會觸發切換到備集群運行作業。 勾選兩個集群的場景下，“作業類型”不推薦選擇“創建新作業”，應設置為“選擇已存在的作業”，且確保主備集群下分別存在該作業。您可以在主集群新建CDM作業并導出，然后再導入作業到備集群，實現作業同步，具體操作方法請參見批量管理作業。 |
| CDM作業類型 | 是 | 選擇已存在的作業。 創建新作業。 說明 如果作業類型為“選擇已存在的作業”，當CDM作業有修改時，此處作業節點不會同步更新。如需更新此作業節點，需要重新保存該節點所在的作業，用于觸發CDM作業更新。 如果作業類型為“創建新作業”，節點運行時會檢測是否有同名CDM作業。 如果CDM作業未運行，則按照請求體內容更新同名作業。 如果同名CDM作業正在運行中，則等待作業運行完成后更新該作業。在此期間該作業可能被其他任務啟動，可能會導致數據抽取不符合預期（如作業配置未更新、運行時間宏未替換正確等），因此請注意不要創建多個同名作業。 |
| CDM作業名稱 | 否 | 僅當“作業類型”為“選擇已存在的作業”時需要配置該參數。選擇待執行的CDM作業。 如果此CDM作業使用了在數據開發時配置的作業參數或者變量，則后續在數據開發模塊調度此節點，可以間接實現CDM作業根據參數變量進行數據遷移。 |
| CDM作業消息體 | 否 | 僅當“作業類型”為“創建新作業”時需要配置該參數。此處需要填寫CDM作業JSON。方便起見可以在CDM已有作業處選擇操作“更多 > 查看作業JSON”，復制其中的JSON內容，在此處修改適配。 如果此CDM作業使用了在數據開發時配置的作業參數或者變量，則后續在數據開發模塊調度此節點，可以間接實現CDM作業根據參數變量進行數據遷移。 |
| 節點名稱 | 是 | 節點名稱，可以包含中文、英文字母、數字、“_”、“-”、“/”、“<”、“>”等各類特殊字符，長度為1～128個字符。 |
高級參數
| 參數 | 是否必選 | 說明 |
|---|---|---|
| 節點狀態輪詢時間（秒） | 是 | 設置輪詢時間（1~60秒），每隔x秒查詢一次節點是否執行完成。 |
| 節點執行的最長時間 | 是 | 設置節點執行的超時時間，如果節點配置了重試，在超時時間內未執行完成，該節點將不會再重試，直接置為失敗狀態。 |
| 失敗重試 | 是 | 節點執行失敗后，是否重新執行節點。 是： 重新執行節點，請配置以下參數。 ? 最大重試次數 ? 重試間隔時間（秒） 否： 默認值，不重新執行節點。 說明 如果作業節點配置了重試，并且配置了超時時間，該節點執行超時后將不會再重試，直接置為失敗狀態。 如果調度CDM遷移作業時使用了參數傳遞，不能在CDM遷移作業中配置“作業失敗重試”參數，推薦在此處配置即可。 |
| 失敗策略 | 是 | 節點執行失敗后的操作： 終止當前作業執行計劃：停止當前作業運行，當前作業實例狀態顯示為“失敗”。 繼續執行下一節點：忽略當前節點失敗，當前作業實例狀態顯示為“忽略失敗成功”。 掛起當前作業執行計劃：暫停當前作業運行，當前作業實例狀態顯示為“等待運行”。 終止后續節點執行計劃：停止后續節點的運行，當前作業實例狀態顯示為“失敗”。 |
| 空跑 | 否 | 如果勾選了空跑，該節點不會實際執行，將直接返回成功。 |
血緣關系
| 參數 | 說明 |
|---|---|
| 輸入 | |
| 新建 | 單擊“新建”，在“類型”的下拉選項中選擇要新建的類型。可以選擇DWS，OBS，CSS，HIVE，CUSTOM和DLI類型。 DWS ? 連接名稱（必選）：單擊   ，在彈出的“連接名稱”窗口選擇DWS的數據連接。? 數據庫（必選）：單擊   ，在彈出的“數據庫”窗口選擇DWS的數據庫。? schema（必選）：單擊   ，在彈出的“schema”窗口選擇DWS的數據庫模式。? 表名（必選）：單擊   ，在彈出的“表名”窗口選擇DWS的數據表。OBS ? 路徑（必選）：單擊   ，在彈出的“OBS文件瀏覽”窗口選擇OBS路徑。CSS ? 集群名稱（必選）：單擊   ，在彈出的“CloudSearch集群”窗口選擇CloudSearch集群。? 索引名稱（必選）：輸入CSS類型的索引名稱。 HIVE ? 連接名稱（必選）：單擊   ，在彈出的“連接名稱”窗口選擇HIVE的數據連接。? 數據庫（必選）：單擊   ，在彈出的“數據庫”窗口選擇HIVE的數據庫。? 表名（必選）：單擊   ，在彈出的“表名”窗口選擇HIVE的數據表。CUSTOM ? 名稱（必選）：輸入CUSTOM類型的名稱。 ? 屬性（必選）：輸入CUSTOM類型的屬性，可新增不止一條。 DLI ? 連接名稱（必選）：單擊   ，在彈出的“連接名稱”窗口選擇DLI的數據連接。? 數據庫（必選）：單擊   ，在彈出的“數據庫”窗口選擇DLI的數據庫。? 表名（必選）：單擊  ，在彈出的“表名”窗口選擇DLI的數據表。 |
| 確定 | 單擊“確認”，保存節點輸入功能的參數配置。 |
| 取消 | 單擊“取消”，取消節點輸入功能的參數配置。 |
| 編輯 | 單擊  ，修改節點輸入功能的參數配置，修改完成后，請保存。 |
| 刪除 | 單擊  ，刪除節點輸入功能的參數配置。 |
| 查看表詳情 | 單擊  ，查看節點輸入血緣關系創建數據表的詳細信息。 |
| 輸出 | |
| 新建 | 單擊“新建”，在“類型”的下拉選項中選擇要新建的類型。可以選擇DWS，OBS，CSS，HIVE，CUSTOM和DLI類型。 DWS ? 連接名稱（必選）：單擊   ，在彈出的“連接名稱”窗口選擇DWS的數據連接。? 數據庫（必選）：單擊   ，在彈出的“數據庫”窗口選擇DWS的數據庫。? schema（必選）：單擊   ，在彈出的“schema”窗口選擇DWS的數據庫模式。? 表名（必選）：單擊   ，在彈出的“表名”窗口選擇DWS的數據表。OBS ? 路徑（必選）：單擊   ，在彈出的“OBS文件瀏覽”窗口選擇OBS路徑。CSS ? 集群名稱（必選）：單擊   ，在彈出的“CloudSearch集群”窗口選擇CloudSearch集群。? 索引名稱（必選）：輸入CSS類型的索引名稱。 HIVE ? 連接名稱（必選）：單擊   ，在彈出的“連接名稱”窗口選擇HIVE的數據連接。? 數據庫（必選）：單擊   ，在彈出的“數據庫”窗口選擇HIVE的數據庫。? 表名（必選）：單擊   ，在彈出的“表名”窗口選擇HIVE的數據表。CUSTOM ? 名稱（必選）：輸入CUSTOM類型的名稱。 ? 屬性（必選）：輸入CUSTOM類型的屬性，可新增不止一條。 DLI ? 連接名稱（必選）：單擊   ，在彈出的“連接名稱”窗口選擇DLI的數據連接。? 數據庫（必選）：單擊   ，在彈出的“數據庫”窗口選擇DLI的數據庫。? 表名（必選）：單擊  ，在彈出的“表名”窗口選擇DLI的數據表。 |
| 確定 | 單擊“確認”，保存節點輸出功能的參數配置。 |
| 取消 | 單擊“取消”，取消節點輸出功能的參數配置。 |
| 編輯 | 單擊  ，修改節點輸出功能的參數配置，修改完成后，請保存。 |
| 刪除 | 單擊  ，刪除節點輸出功能的參數配置。 |
| 查看表詳情 | 單擊  ，查看節點輸出血緣關系創建數據表的詳細信息。 |
