開發作業
更新時間 2023-08-17 16:57:00
最近更新時間: 2023-08-17 16:57:00
分享文章
本章節主要介紹數據開發部分的開發作業。
對已新建的作業進行開發和配置。
前提條件
- 已新建作業。
- 當前用戶已鎖定該作業,否則需要通過“搶鎖”鎖定作業后才能繼續開發作業。新建或導入作業后默認被當前用戶鎖定,詳情參見提交版本并解鎖章節中的“編輯鎖定”功能。
編排作業節點
- 登錄DataArts Studio控制臺。選擇實例,點擊“進入控制臺”,選擇對應工作空間的“數據開發”模塊,進入數據開發頁面。
詳見下圖:選擇數據開發


- 在數據開發主界面的左側導航欄,選擇“數據開發 > 作業開發”。
- 在作業目錄中,雙擊Pipeline模式批處理作業或實時處理作業的名稱,進入作業開發頁面。
- 拖動所需的節點至畫布,鼠標移動到節點圖標上,選中連線圖標

并拖動,連接到下一個節點上。
說明每個作業建議最多包含200個節點。
詳見下圖:編排作業

- 配置節點功能。右鍵單擊畫布中的節點圖標,根據實際需要選擇如行表所示的功能。
右鍵節點功能
| 功能 | 說明 |
|---|---|
| 配置 | 進入該節點的“節點屬性”頁面。 |
| 刪除 | 支持刪除一個節點或同時刪除多個節點。 單節點刪除:右鍵單擊畫布中的節點圖標,選擇刪除或按快捷鍵Delete。 多節點刪除:按下鍵盤中的Ctrl,單擊畫布中需要刪除的節點圖標,在當前作業畫布空白處單擊右鍵,選擇刪除或按快捷鍵Delete。 |
| 復制 | 支持復制一個或多個節點至任意作業中: 單節點復制:右鍵單擊畫布中的節點圖標,選擇復制或按快捷鍵Ctrl+C,在作業畫布空白處粘貼節點或按快捷鍵Ctrl+V,復制后的節點攜帶原節點的配置信息。 多節點復制:按下鍵盤中的Ctrl,單擊畫布中需要復制的節點圖標,在當前作業畫布空白處單擊右鍵選擇復制或按快捷鍵Ctrl+C,在目標作業畫布空白處粘貼或按快捷鍵Ctrl+V。復制后的節點攜帶原節點的配置信息,但不包含節點間的連接關系。 |
| 測試運行 | 測試運行該節點。 |
| 從當前節點測試運行 | 僅在批作業下顯示該選項。選擇“從當前節點測試運行”,則測試運行當前節點以及后續節點。 |
| 添加/刪除連線 | 可以選擇為兩個不同的節點添加或刪除連線, |
| 編輯CDM作業 | 僅CDM Job節點顯示該選項。選擇CDM集群和作業后,可以跳轉到CDM作業編輯頁面,進行作業修改。 |
| 查看CDM作業日志 | 僅CDM Job節點顯示該選項。當CDM作業運行后,右鍵選中CDM Job節點,單擊“查看CDM日志”,可以跳轉到作業監控頁面,查看作業日志打印的詳細信息,幫助開發者定界定位作業運行異常原因。 |
| 編輯腳本 | 僅關聯了腳本的節點顯示該選項。跳轉到腳本編輯頁面,對關聯的腳本進行編輯。 |
| 添加便簽 | 為該節點添加便簽,每個節點可以有多個便簽。 |
- (可選)配置連線功能。右鍵單擊畫布中的節點間連線,顯示“刪除”和“設置條件”功能,您可以根據實際需要進行選擇。
? 刪除:可以刪除節點間的連線。
? 設置條件:在彈出的窗口中,您可以通過EL表達式語法填寫三元表達式。當三元表達式結果為true的時候,才會執行連線后面的節點,否則后續節點將被跳過。
如下圖所示,是一個典型的三元表達式。當“DQM”節點的運行結果為true時,才會執行連線后的節點。當運行結果為false時,如果失敗策略為“跳過所有節點”,則該連線后面的節點A以及A后的所有節點均會被跳過。


關于EL表達式的語法,您可以查看 表達式概述。
配置作業基本信息
為作業配置責任人、優先級信息后,用戶可根據責任人、優先級來檢索相應的作業。操作方法如下:
單擊畫布右側“作業基本信息”頁簽,展開配置頁面,配置如下表所示的參數。
作業基本信息
| 參數 | 說明 |
|---|---|
| 作業責任人 | 自動匹配創建作業時配置的作業責任人,此處支持修改。 |
| 執行用戶 | 執行作業的用戶。如果輸入了執行用戶,則作業以執行用戶身份執行;如果沒有輸入執行用戶,則以提交作業啟動的用戶身份執行。 |
| 作業委托 | 配置委托后,作業執行過程中,以委托的身份與其他服務交互。 |
| 作業優先級 | 自動匹配創建作業時配置的作業優先級,此處支持修改。 |
| 實例超時時間 | 配置作業實例的超時時間,設置為0或不配置時,該配置項不生效。如果您為作業設置了異常通知,當作業實例執行時間超過超時時間,將觸發異常通知,發送消息給用戶。 |
| 自定義字段 | 配置自定義字段的參數名稱和參數值。 |
| 作業標簽 | 配置作業的標簽,用以分類管理作業。單擊“新增”,可給作業重新添加一個標簽。也可選擇管理作業標簽中已配置的標簽。 |
配置作業參數
作業參數為全局參數,可用于作業中的任意節點。操作方法如下:
單擊畫布的空白處,在右側顯示“作業參數配置”頁簽,單擊此頁簽,展開配置頁面,配置如下表示的參數。
作業參數配置
| 功能 | 說明 |
|---|---|
| 參數 | |
| 新增 | 單擊“新增”,在文本框中填寫作業參數的名稱和參數值。 參數名稱 名稱只能包含字符:英文字母、數字、中劃線和下劃線。 參數值 ? 字符串類的參數直接填寫字符串,例如:str1 ? 數值類的參數直接填寫數值或運算表達式。 參數配置完成后,在作業中的引用格式為:${參數名稱} |
| 修改 | 在參數名和參數值的文本框中直接修改。 |
| 掩碼顯示 | 在參數值為密鑰等情況下,從安全角度,請單擊![]() 將參數值掩碼顯示。 |
| 刪除 | 在參數值文本框后方,單擊![]() ,刪除作業參數。 |
| 常量 | |
| 新增 | 單擊“新增”,在文本框中填寫作業常量的名稱和參數值。 參數名稱 名稱只能包含字符:英文字母、數字、中劃線和下劃線。 參數值 ? 字符串類的參數直接填寫字符串,例如:str1 ? 數值類的參數直接填寫數值或運算表達式。 參數配置完成后,在作業中的引用格式為:${參數名稱} |
| 修改 | 在參數名和參數值的文本框中直接修改,修改完成后,請保存。 |
| 刪除 | 在參數值文本框后方,單擊![]() ,刪除作業常量。 |
調測并保存作業
作業編排和配置完成后,請執行以下操作:
批處理作業
- 單擊畫布上方的測試運行按鈕

,測試作業。 - 測試完成后,單擊畫布上方的保存按鈕

,保存作業的配置信息。如果測試未通過請按照提示修改后再次運行。
實時處理作業
單擊畫布上方的保存按鈕
,保存作業的配置信息。

將參數值掩碼顯示。
,刪除作業參數。
,刪除作業常量。