新建作業
更新時間 2023-07-20 10:28:06
最近更新時間: 2023-07-20 10:28:06
分享文章
本章節主要介紹作業開發的新建作業。
作業由一個或多個節點組成,共同執行以完成對數據的一系列操作。開發作業前請先新建作業。
前提條件
作業在每工作空間的最大配額為10000,請確保當前作業的數量未達到最大配額。
新建目錄(可選)
如果已存在可用的目錄,可以不用新建目錄。
- 登錄DataArts Studio控制臺。選擇實例,點擊“進入控制臺”,選擇對應工作空間的“數據開發”模塊,進入數據開發頁面。
詳見下圖:選擇數據開發


- 在數據開發主界面的左側導航欄,選擇“數據開發 > 作業開發”。
- 在作業目錄中,右鍵單擊目錄名稱,選擇“新建目錄”。
- 在彈出的“新建目錄”頁面,配置如下表所示的參數。
作業目錄參數
| 參數 | 說明 |
|---|---|
| 目錄名稱 | 作業目錄的名稱,只能包含英文字母、數字、中文字符、“_”、“-”,且長度為1~64個字符。 |
| 選擇目錄 | 選擇該作業目錄的父級目錄,父級目錄默認為根目錄。 |
- 單擊“確定”,新建目錄。
新建作業
默認作業的最大配額是10000,請確保當前作業的數量未達到最大配額。
- 登錄DataArts Studio控制臺。選擇實例,點擊“進入控制臺”,選擇對應工作空間的“數據開發”模塊,進入數據開發頁面。
詳見下圖:選擇數據開發


- 在數據開發主界面的左側導航欄,選擇“數據開發 > 作業開發”。
- 新建作業的方式有如下兩種:
a.在“作業開發”界面中,單擊“新建作業”。
詳見下圖:新建作業(方式一)


b.在作業目錄中,右鍵單擊目錄名稱,選擇“新建作業”。
詳見下圖:新建作業(方式二)


- 在彈出的“新建作業”頁面,配置如下表所示的參數。
作業參數
| 參數 | 說明 |
|---|---|
| 作業名稱 | 自定義作業的名稱,只能包含英文字母、數字、中文、“-”、“_”、“.”,且長度為1~128個字符。 |
| 作業類型 | 選擇作業的類型。 批處理作業:按調度計劃定期處理批量數據,主要用于實時性要求低的場景。批作業是由一個或多個節點組成的流水線,以流水線作為一個整體被調度。被調度觸發后,任務執行一段時間必須結束,即任務不能無限時間持續運行。批處理作業可以配置作業級別的調度任務,即以作業為一整體進行調度,具體請參見調度作業章節中的“配置作業調度任務(批處理作業)”。 實時處理作業:處理實時的連續數據,主要用于實時性要求高的場景。實時作業是由一個或多個節點組成的業務關系,每個節點可單獨被配置調度策略,而且節點啟動的任務可以永不下線。在實時作業里,帶箭頭的連線僅代表業務上的關系,而非任務執行流程,更不是數據流。實時處理作業可以配置節點級別的調度任務,即每一個節點可以獨立調度,具體請參見調度作業章節中的 配置節點調度任務(實時作業)。 |
| 創建方式 | 選擇作業的創建方式。 創建空作業:創建一個空的作業。 基于模板創建:使用數據開發模塊提供的模板來創建。 |
| 選擇目錄 | 選擇作業所屬的目錄,默認為根目錄。 |
| 責任人 | 填寫該作業的責任人。 |
| 作業優先級 | 選擇作業的優先級,提供高、中、低三個等級。 |
| 委托配置 | 配置委托后,作業執行過程中,以委托的身份與其他服務交互。若該工作空間已配置過委托,參見配置委托章節中的“配置工作空間級委托”,則新建的作業默認使用該工作空間級委托。您也可參見配置委托章節中的“配置作業級委托”,修改為作業級委托。 說明 作業級委托優先于工作空間級委托。 |
| 日志路徑 | 選擇作業日志的OBS存儲路徑。日志默認存儲在以dlf-log-{Projectid}命名的桶中。 說明 若您想自定義存儲路徑,請選擇您已在OBS服務側創建的桶。 請確保您已具備該參數所指定的OBS路徑的讀、寫權限,否則系統將無法正常寫日志或顯示日志。 |
- 單擊“確定”,創建作業。