DLI Flink Job
更新時間 2023-07-18 17:11:34
最近更新時間: 2023-07-18 17:11:34
分享文章
本章節主要介紹節點參考的DLI Flink Job。
功能
通過DLI Flink Job節點執行一個預先定義的DLI作業，實現實時流式大數據分析。
原理
該節點方便用戶啟動或者查詢DLI作業是否正在運行。當作業類型不是“選擇已存在的Flink作業”時，系統會根據在節點中配置的作業情況，進行創建和啟動作業。方便用戶自定義作業以及作業參數。
參數
DLI Flink Job的參數配置，請參考以下內容：
- 屬性參數：
? 選擇已存在的Flink作業 ：請參見下表。
? Flink SQL作業 ：請參見下表。
? Flink自定義作業 ：請參見下表。
- 高級參數
已存在的Flink作業-屬性參數
| 參數 | 是否必選 | 說明 |
|---|---|---|
| 作業類型 | 是 | 選擇“選擇已存在的Flink作業”。 |
| 作業名稱 | 是 | 選擇一個已存在的DLI Flink作業。 |
| 節點名稱 | 是 | 節點名稱，可以包含中文、英文字母、數字、“_”、“-”、“/”、“<”、“>”等各類特殊字符，長度為1～128個字符。 |
Flink SQL作業-屬性參數
| 參數 | 是否必選 | 說明 |
|---|---|---|
| 作業類型 | 是 | 選擇“Flink SQL作業”。用戶采用編寫SQL語句來啟動作業。 |
| 腳本路徑 | 是 | 選擇需要執行的Flink SQL腳本。如果腳本未創建，請參考新建腳本和開發SQL腳本創建和開發Flink SQL腳本。 |
| DLI隊列 | 是 | 默認選擇“共享隊列”，用戶也可以選擇自定義的獨享隊列。 說明 當子用戶在創建作業時，子用戶只能選擇已經被分配的隊列。 |
| CUs | 是 | 一個CU是1核4G的資源配置。 |
| 并發數 | 是 | 并發數是指同時運行Flink SQL作業的任務數。 說明 并發數不能大于計算單元（CUs-1）的4倍。 |
| UDF Jar | 否 | 當作業所屬集群選擇獨享集群時，該參數有效。在選擇UDF Jar之前，您需要將UDF Jar包上傳至OBS桶中，并在“資源管理”頁面中新建資源，具體操作請參考管理資源章節中的 新建資源。用戶可以在SQL中調用插入Jar包中的自定義函數。 |
| 異常自動啟動 | 否 | 設置是否啟動異常自動重啟功能，當作業異常時將自動重啟并恢復作業。 |
| 作業名稱 | 是 | 填寫DLI Flink作業的名稱，只能包含英文字母、數字、“_”，且長度為1~64個字符。默認與節點的名稱一致。 |
| 作業名稱添加工作空間前綴 | 否 | 設置是否為創建的作業名稱添加工作空間前綴。 |
| 節點名稱 | 是 | 節點名稱，可以包含中文、英文字母、數字、“_”、“-”、“/”、“<”、“>”等各類特殊字符，長度為1～128個字符。 |
Flink自定義作業-屬性參數
| 參數 | 是否必選 | 說明 |
|---|---|---|
| 作業類型 | 是 | 選擇“Flink自定義作業”。 |
| jar包路徑 | 是 | 用戶自定義的程序包。在選擇程序包之前，您需要將對應的jar包上傳至OBS桶中，并在“資源管理”頁面中新建資源，具體操作請參考管理資源章節中的 新建資源。 |
| 入口類 | 是 | 指定加載的Jar包類名，如KafkaMessageStreaming。 默認：根據Jar包文件的Manifest文件指定。 指定：需要輸入類名并確定類參數列表（參數間用空格分隔）。 說明 當類屬于某個包時，需攜帶包路徑，例如：packagePath.KafkaMessageStreaming。 |
| 入口參數 | 是 | 指定類的參數列表，參數之間使用空格分隔。 |
| DLI隊列 | 是 | 默認選擇“共享隊列”，用戶也可以選擇自定義的獨享隊列。 說明 當子用戶在創建作業時，子用戶只能選擇已經被分配的隊列。 |
| 作業特性 | 否 | 選擇自定義鏡像和對應版本。僅當DLI隊列為容器化隊列類型時，出現本參數。自定義鏡像是DLI的特性。用戶可以依賴DLI提供的Spark或者Flink基礎鏡像，使用Dockerfile將作業運行需要的依賴（文件、jar包或者軟件）打包到鏡像中，生成自己的自定義鏡像，然后將鏡像發布到SWR（容器鏡像服務）中，最后在此選擇自己生成的鏡像，運行作業。自定義鏡像可以改變Spark作業和Flink作業的容器運行環境。用戶可以將一些私有能力內置到自定義鏡像中，從而增強作業的功能、性能。 |
| CUs | 是 | 一個CU是1核4G的資源配置。 |
| 管理節點CU數量 | 是 | 設置管理單元的CU數，支持設置1~4個CU數，默認值為1個CU。 |
| 并發數 | 是 | 并發數是指同時運行Flink SQL作業的任務數。 說明 并發數不能大于計算單元（CUs-1）的4倍。 |
| 異常自動啟動 | 否 | 設置是否啟動異常自動重啟功能，當作業異常時將自動重啟并恢復作業。 |
| 作業名稱 | 是 | 填寫DLI Flink作業的名稱，只能包含英文字母、數字、“_”，且長度為1~64個字符。默認與節點的名稱一致。 |
| 作業名稱添加工作空間前綴 | 否 | 設置是否為創建的作業添加工作空間前綴。 |
| 節點名稱 | 是 | 節點名稱，可以包含中文、英文字母、數字、“_”、“-”、“/”、“<”、“>”等各類特殊字符，長度為1～128個字符。 |
高級參數
| 參數 | 是否必選 | 說明 |
|---|---|---|
| 節點執行的最長時間 | 是 | 設置節點執行的超時時間，如果節點配置了重試，在超時時間內未執行完成，該節點將不會再重試，直接置為失敗狀態。 |
| 失敗重試 | 是 | 節點執行失敗后，是否重新執行節點。 是：重新執行節點，請配置以下參數。 ? 最大重試次數 ? 重試間隔時間（秒） 否：默認值，不重新執行節點。 說明 如果作業節點配置了重試，并且配置了超時時間，該節點執行超時后將不會再重試，直接置為失敗狀態。 |
| 失敗策略 | 是 | 節點執行失敗后的操作： 終止當前作業執行計劃：停止當前作業運行，當前作業實例狀態顯示為“失敗”。 繼續執行下一節點：忽略當前節點失敗，當前作業實例狀態顯示為“忽略失敗成功”。 掛起當前作業執行計劃：暫停當前作業運行，當前作業實例狀態顯示為“等待運行”。 終止后續節點執行計劃：停止后續節點的運行，當前作業實例狀態顯示為“失敗”。 |
| 空跑 | 否 | 如果勾選了空跑，該節點不會實際執行，將直接返回成功。 |
