批作業監控
更新時間 2023-08-17 17:00:42
最近更新時間: 2023-08-17 17:00:42
分享文章
本章節主要介紹作業監控的批作業監控。
批作業監控提供了對批處理作業的狀態進行監控的能力。
批處理作業支持作業級別的調度計劃,可以定期處理批量數據,主要用于實時性要求低的場景。批作業是是由一個或多個節點組成的流水線,以流水線作為一個整體被調度。被調度觸發后,任務執行一段時間必須結束,即任務不能無限時間持續運行。
您可以在“作業監控 > 批作業監控”頁面查看批處理作業的調度狀態、調度頻率、調度開始時間等信息,以及進行如下表所示的操作。
詳見下圖:批作業監控


批作業監控支持的操作項
| 序號 | 支持的操作項 | 說明 |
|---|---|---|
| 1 | 根據“作業名”或“責任人名”搜索作業 | - |
| 2 | 根據“作業是否配置通知”、“調度狀態”、“作業標簽”或“下次計劃時間”范圍,篩選作業 | - |
| 3 | 批量配置作業 | 通過勾選作業名稱前的復選框,支持批量執行操作。 |
| 4 | 查看作業實例狀態 | 單擊作業名稱前方的![]() ,顯示“最近的實例”頁面,查看該作業最近的實例信息。 |
| 5 | 查看作業的節點信息 | 單擊作業名稱,在打開的頁面中點擊作業節點,查看該節點的相關關聯作業/腳本與監控信息。 |
| 6 | 調度作業相關 | 在作業的“操作”列,支持執行調度、暫停調度、恢復調度、停止調度、調度配置等,詳情請參見批作業監控章節中的“調度作業”。 |
| 7 | 通知設置 | 在作業的“操作”列,選擇“更多 > 通知設置”,彈出“新建通知”頁面,參考管理通知章節中的通知參數表。 |
| 8 | 實例監控 | 在作業的“操作”列,選擇“更多 > 實例監控”,跳轉到實例監控頁面,查看該作業所有實例的運行記錄。 |
| 9 | 補數據 | 在作業的“操作”列,選擇“更多 > 補數據”,彈出“補數據”對話框,詳情請參見批作業監控章節中的“補數據”。 |
| 10 | 添加作業標簽 | 在作業的“操作”列,選擇“更多 > 添加作業標簽”,彈出“添加作業標簽”對話框,詳情請參見批作業監控:添加作業標簽。 |
批作業監控:調度作業
作業開發完成后,用戶可以在“作業監控”頁面中管理作業的調度任務,例如:執行調度、暫停調度、恢復調度、停止調度。
詳見下圖:調度作業


- 登錄DataArts Studio控制臺。選擇實例,點擊“進入控制臺”,選擇對應工作空間的“數據開發”模塊,進入數據開發頁面。
詳見下圖:選擇數據開發


- 在數據開發主界面的左側導航欄,選擇“運維調度 > 作業監控”。
- 單擊“批作業監控”頁簽,進入批作業的監控頁面。
- 在作業的“操作”列,單擊“執行調度”/“暫停調度”/“恢復調度”/“停止”。
如果該批處理作業設置有依賴的作業,執行調度該作業時可以設置為只啟動當前作業或同時啟動依賴的作業。如何配置依賴作業,請參見調度作業章節中的“配置作業調度任務(批處理作業)”。
詳見下圖:啟動作業


批作業監控:補數據
補數據是指作業執行一個調度任務,在過去某一段時間里生成一系列的實例。用戶可以通過補數據,修正歷史中出現數據錯誤的作業實例,或者構建更多的作業記錄以便調試程序等。
只有配置了周期調度的作業,才支持使用該功能。如需查看補數據的執行情況,請參見補數據監控。
說明當作業正在補數據時,請勿修改作業配置,否則會影響補數據過程中生成的作業實例。
- 登錄DataArts Studio控制臺。選擇實例,點擊“進入控制臺”,選擇對應工作空間的“數據開發”模塊,進入數據開發頁面。
詳見下圖:選擇數據開發


- 在數據開發主界面的左側導航欄,選擇“運維調度 > 作業監控”。
- 單擊“批作業監控”頁簽,進入批作業的監控頁面。
- 在作業的“操作”列,選擇“更多 > 補數據”。
- 彈出“補數據”對話框,配置如下表所示的參數。
詳見下圖:補數據參數


參數說明
| 參數 | 說明 |
|---|---|
| 補數據名稱 | 系統自動生成一個補數據的任務名稱,允許修改。 |
| 作業名稱 | 顯示需要補數據的作業名稱。 |
| 業務日期 | 選擇需要補數據的時間段。 說明 一個作業可進行多次補數據。但多次補數據的業務日期需要避免交叉重疊,否則可能導致數據重復或混亂,用戶請謹慎操作。 |
| 并行周期數 | 設置同時執行的實例數量,最多可同時執行5個實例。 說明 請根據實際情況配置并行周期數,例如CDM作業實例,不可同時執行補數據操作,并行周期數只可設置為1。 |
| 需要補數據的下游作業 | 選擇需要補數據的下游作業(指依賴于當前作業的作業),支持多選。 |
- 單擊“確定”,開始補數據,并進入“補數據監控”頁面。
批作業監控:添加作業標簽
支持給作業添加標簽,便于作業實例的篩選分類。
- 登錄DataArts Studio控制臺。選擇實例,點擊“進入控制臺”,選擇對應工作空間的“數據開發”模塊,進入數據開發頁面。
詳見下圖:選擇數據開發


- 在數據開發主界面的左側導航欄,選擇“運維調度 > 作業監控”。
- 單擊“批作業監控”頁簽,進入批作業的監控頁面。
- 在作業的“操作”列,選擇“更多 > 添加作業標簽”。
- 彈出“添加作業標簽”對話框,填寫需要配置的作業標簽。
詳見下圖:添加作業標簽參數


- 填寫完標簽后,單擊“確認”,完成作業標簽的添加。

,顯示“最近的實例”頁面,查看該作業最近的實例信息。