作業開發流程
更新時間 2023-07-18 21:43:40
最近更新時間: 2023-07-18 21:43:40
分享文章
本章節主要介紹作業開發的作業開發流程。
作業開發功能提供如下能力:
- 提供圖形化設計器,支持拖拉拽方式快速構建數據處理工作流。
- 預設數據集成、計算&分析、資源管理、數據監控、其他等多種任務類型,通過任務間依賴完成復雜數據分析處理。
- 支持多種作業調度方式。
- 支持導入和導出作業。
- 支持作業狀態運維監控和作業結果通知。
- 提供編輯鎖定能力,支持多人協同開發場景。
- 支持作業的版本管理能力。
開發作業前,您可以通過下圖了解數據開發模塊作業開發的基本流程。
作業開發流程


- 新建作業:當前提供兩種作業類型:批處理和實時處理,分別應用于批量數據處理和實時連接性數據處理,具體請參見新建作業。
- 開發作業:基于新建的作業,進行作業開發,您可以進行編排、配置節點。具體請參見開發作業。
- 調度作業:配置作業調度任務。具體請參見調度作業。
? 如果您的作業是批處理作業,您可以配置作業級別的調度任務,即以作業為一個整體進行調度,支持單次調度、周期調度、事件驅動調度三種調度方式。具體請參見調度作業章節中的“配置作業調度任務(批處理作業)”。
? 如果您的作業是實時處理作業,您可以配置節點級別的調度任務,即每一個節點可以獨立調度,支持單次調度、周期調度、事件驅動調度三種調度方式。具體請參見調度作業章節中的“配置節點調度任務(實時作業)”。