實時作業監控
更新時間 2023-07-25 09:48:39
最近更新時間: 2023-07-25 09:48:39
分享文章
本章節主要介紹作業監控的實時作業監控。
實時作業監控提供了對實時處理作業的狀態進行監控的能力。
實時處理作業處理實時的連續數據,主要用于實時性要求高的場景。實時作業是由一個或多個節點組成的流水線,每個節點配置獨立的、節點級別的調度策略,而且節點啟動的任務可以永不下線。在實時作業里,帶箭頭的連線僅代表業務上的關系,而非任務執行流程,更不是數據流。
您可以在“作業監控 > 實時作業監控”頁面查看實時處理作業的運行狀態、開始執行時間、結束執行時間等信息,以及進行如下表所示的操作。
詳見下圖:實時作業監控


實時作業監控支持的操作項
| 序號 | 支持的操作項 | 說明 |
|---|---|---|
| 1 | 根據“作業名”或“責任人名”搜索作業 | - |
| 2 | 根據“運行狀態”或“作業標簽”篩選作業 | - |
| 3 | 批量配置作業 | 通過勾選作業名稱前的復選框,支持批量執行操作。 |
| 4 | 查看作業實例狀態 | 單擊作業名稱前方的![]() ,顯示“最近的實例”頁面,查看該作業最近的實例信息。 |
| 5 | 作業狀態相關 | 在作業的“操作”列,支持作業級別的啟動、暫停、恢復、停止調度等。 |
| 6 | 添加作業標簽 | 在作業的“操作”列,選擇“更多 > 添加作業標簽”,彈出“添加作業標簽”對話框進行配置。 |
| 7 | 查看作業的節點信息 | 單擊作業名稱,進入“作業監控”詳情頁面后,單擊某個節點,查看該節點的相關關聯作業/腳本與監控信息。 說明 當作業中某個節點配置有事件驅動調度時,在單擊此節點時會彈出子作業監控頁面。 |
| 8 | “禁用”和“恢復”節點 | 單擊作業名稱,進入“作業監控”詳情頁面后,右鍵單擊某個節點選擇“禁用”,禁用后可以再選擇“恢復”,恢復運行時可以重新選擇運行位置。詳情請參見下方“實時作業監控:禁用節點后恢復”。 |
| 9 | 查看啟動日志 | 單擊作業名稱,進入“作業監控”詳情頁面后,右鍵單擊某個節點選擇“查看啟動日志”,您可以查看該節點的日志信息。 |
| 10 | 調度配置 | 單擊作業名稱,進入“作業監控”詳情頁面后,在“作業監控”詳情頁面中右鍵單擊配置有事件驅動調度的節點,選擇“調度配置”,您可以查看查看和修改節點的調度信息。詳情請參見下方“實時作業監控:事件驅動調度節點調度配置”。 |
| 11 | 子作業監控 | 單擊作業名稱,進入“作業監控”詳情頁面后,單擊配置有事件驅動調度的節點,查看子作業監控頁面。詳情請參見下方“實時作業監控:子作業監控”。 |
| 12 | 清除通道消息 | 單擊作業名稱,進入“作業監控”詳情頁面后,右鍵單擊配置有事件驅動調度的節點,選擇“清除通道消息”,您可以清除通道消息。 |
實時作業監控:禁用節點后恢復
您可以對實時作業中某個節點配置“禁用”后恢復運行,恢復運行時可以重新選擇運行位置。
- 登錄DataArts Studio控制臺。選擇實例,點擊“進入控制臺”,選擇對應工作空間的“數據開發”模塊,進入數據開發頁面。
詳見下圖:選擇數據開發


- 在數據開發主界面的左側導航欄,選擇“運維調度 > 作業監控”。
- 選擇“實時作業監控”頁簽,單擊作業名稱。
- 進入“作業監控”詳情頁面后,右鍵單擊節點,選擇“禁用”。
- 設置禁用后,再右鍵單擊選擇“恢復”。彈出“恢復”對話框,配置如下表所示的參數。
恢復參數說明
| 參數 | 說明 |
|---|---|
| 上次暫停時間 | 節點暫停運行的起始時間。 |
| 未運行任務數 | 節點暫停期間沒有運行的任務數量。 |
| 運行位置 | “運行暫停期間任務”的參數。 表示選擇節點暫停運行后,恢復運行時的啟動位置。 從暫停節點開始運行 從子作業第一個節點開始運行 |
| 處理并發數 | “運行暫停期間任務”的參數。 表示選擇任務處理的數量。 |
| 任務名稱 | “運行暫停期間任務”的參數。 表示恢復的任務名稱。 |
實時作業監控:事件驅動調度節點調度配置
當您配置的實時作業中某個節點配置有事件驅動調度時,在“作業監控”詳情頁面中右鍵單擊配置有事件驅動調度的節點,選擇“調度配置”,可以查看和修改節點的調度信息。
- 登錄DataArts Studio控制臺。選擇實例,點擊“進入控制臺”,選擇對應工作空間的“數據開發”模塊,進入數據開發頁面。
詳見下圖:選擇數據開發


- 在數據開發主界面的左側導航欄,選擇“運維調度 > 作業監控”。
- 選擇“實時作業監控”頁簽,單擊作業名稱。
- 進入“作業監控”詳情頁面后,右鍵單擊配置有事件驅動調度的節點,選擇“調度配置”,配置如下表所示的參數。
詳見下圖:調度配置


調度配策略參數說明
| 參數 | 說明 |
|---|---|
| 事件處理并發數 | 選擇作業并行處理的數量,最大并發數為10。 |
| 事件檢測間隔 | 配置事件檢測時間間隔。時間間隔單位可以配置為秒或分鐘。 |
| 失敗策略 | 選擇調度失敗后的策略: 結束調度 忽略失敗,繼續調度 |
實時作業監控:子作業監控
當用戶配置的作業中某個節點配置有事件調度時,單擊此節點可以查詢子作業監控。在“子作業監控”頁面可以對子作業設置停止、重跑、繼續執行、強制成功、查看事件內容等操作。
- 登錄DataArts Studio控制臺。選擇實例,點擊“進入控制臺”,選擇對應工作空間的“數據開發”模塊,進入數據開發頁面。
詳見下圖:選擇數據開發


- 在數據開發主界面的左側導航欄,選擇“運維調度 > 作業監控”。
- 選擇“實時作業監控”頁簽,單擊作業名稱。
- 進入“作業監控”詳情頁面后,單擊配置有事件調度的節點。
詳見下圖:子作業監控


在“子作業監控”頁面的“操作”列,提供如下表所示的操作。
子作業監控操作
| 操作項 | 說明 |
|---|---|
| 停止 | 停止運行狀態為“運行中”的子作業實例。 |
| 重跑 | 重新運行狀態為“成功”或“失敗”的子作業實例。 |
| 繼續執行 | 子作業實例的狀態為“運行異常”時,支持繼續運行子作業實例中的后續節點。 說明? 只有節點的“節點屬性>高級 > 失敗策略”設置為“掛起當前作業執行計劃”時,才可以執行該操作。 |
| 強制成功 | 強制將狀態為“失敗”的子作業實例變更為“運行成功”狀態。 |
| 事件內容 | 查看子作業的事件內容。 |
- 單擊“子作業監控”頁面“狀態”列下方的
,顯示該子作業節點的運行記錄。
在節點的“操作”列,提供如下表所示的操作。
操作(節點)
| 操作項 | 說明 |
|---|---|
| 查看日志 | 查看節點的日志信息。 |
| 更多> 手工重試 | 節點的狀態為“失敗”時,支持重新運行節點。 說明? 只有節點的“節點屬性>高級 > 失敗策略”設置為“掛起當前作業執行計劃”時,才可以執行該操作。 |
| 更多> 強制成功 | 節點的狀態為“失敗”時,支持將該節點強制變更為“成功”狀態,且實例監控中作業實例的狀態顯示為“強制成功”。 說明? 只有節點的“節點屬性>高級 > 失敗策略”設置為“掛起當前作業執行計劃”時,才可以執行該操作。 |
| 更多> 跳過 | 節點的狀態為“待運行”或“已暫停節點”時,支持跳過該節點。 |
| 更多> 暫停 | 節點的狀態為“待運行”時,支持暫停運行該節點,該暫停節點的后續節點將會被阻塞。 |
| 更多> 恢復 | 節點的狀態為“已暫停”時,支持恢復運行該節點。 |

,顯示“最近的實例”頁面,查看該作業最近的實例信息。