Flink作業管理概述
更新時間 2024-02-21 16:23:50
最近更新時間: 2024-02-21 16:23:50
分享文章
本章節主要介紹 Flink作業管理概述 。
在Flink作業管理頁面可提交Flink作業。目前有以下作業類型：
- Flink SQL作業：使用SQL語句定義作業，可以提交到通用隊列上。
- Flink Jar作業：基于Flink API的自定義Jar包作業，可以運行在獨享隊列上。
Flink作業管理主要包括如下功能：
- Flink作業權限管理
- 創建Flink SQL作業
- 創建Flink Jar作業
- 調試Flink作業
- 編輯作業
- 啟動作業
- 停止作業
- 刪除作業
- 導出作業
- 導入作業
- 名稱和描述修改
- 導入保存點
- 觸發保存點
- 運行時配置
- Flink作業詳情
以及查看“使用指南”和“使用視頻”。
委托權限設置
DLI執行Flink作業需要進行委托授權，可在第一次登錄管理控制臺時進行設置，也可在“全局配置”>“服務授權”中進行修改。
具體權限如下：
- Tenant Administrator(全局服務)：DLI Flink作業訪問和使用OBS或者DWS數據源、日志轉儲（包括桶授權）、開啟checkpoint、作業導入導出等，需要獲得訪問和使用OBS（對象存儲服務）的Tenant Administrator權限。
說明
由于云服務緩存需要時間，該權限60分鐘左右才能生效。
- CloudTable Administrator：DLI Flink作業訪問和使用CloudTable數據源，需要獲得訪問和使用CloudTable（表格存儲服務）的CloudTable Administrator權限。
說明
由于云服務緩存需要時間，該權限3分鐘左右才能生效。
作業管理頁面
在總覽頁面單擊“Flink作業”簡介，或在左側導航欄單擊“作業管理”>“Flink作業”，可進入Flink作業管理頁面。Flink作業管理頁面顯示所有的Flink作業，作業數量較多時，系統分頁顯示，您可以查看任何狀態下的作業。
作業管理參數
| 參數 | 參數說明 |
|---|---|
| ID | 所提交Flink作業的ID，由系統默認生成。 |
| 名稱 | 所提交Flink作業的名稱。 |
| 類型 | 所提交Flink作業的類型。包括： Flink SQL：Flink SQL作業 Flink Jar：Flink Jar作業 |
| 狀態 | 作業的狀態信息，包括： 草稿 提交中 提交失敗 運行中（提交作業后，返回正常結果） 運行異常（作業發生運行時異常，停止運行作業） 下載中 空閑 停止中 已停止 停止失敗 保存點創建中 已完成 |
| 描述 | 所提交Flink作業的描述。 |
| 用戶名 | 提交作業的用戶名稱。 |
| 創建時間 | 每個作業的創建時間。 |
| 開始時間 | Flink作業開始運行的時間。 |
| 運行時長 | 作業運行所消耗的時間。 |
| 操作 | 編輯：編輯已經創建好的作業。具體請參見操作Flink作業章節中的“編輯作業”。 啟動：啟動作業并運行。具體請參見操作Flink作業章節中的“啟動作業”。 更多 ? FlinkUI：單擊后，將跳轉至Flink任務運行情況界面。 說明 如果是新建隊列，在該隊列提交作業后，如果立即單擊FlinkUI，因為后臺大約需要10分鐘創建集群，會導致緩存空的projectID，從而導致無法查看FlinkUI。 建議作業選擇使用專屬隊列，后臺集群不會被釋放，避免上述問題產生。或者等待作業運行中時再查看FlinkUI，確保集群已經拉好了，不要立即單擊FlinkUI。 ? 停止：停止Flink作業。如果該功能置灰，表示當前狀態的作業不支持停止。 ? 刪除：刪除作業。 說明 作業刪除后不可恢復，請謹慎操作。 ? 名稱和描述修改：修改作業名稱和描述。具體請參見操作Flink作業章節中的“名稱和描述修改”。 ? 導入保存點：導入原實時流計算服務作業導出的數據。具體請參見操作Flink作業章節中的“導入保存點”。 ? 觸發保存點：“運行中”的作業可以“觸發保存點”，保存作業的狀態信息。具體請參見操作Flink作業章節中的“觸發保存點”。 ? 權限管理：查看作業對應的用戶權限信息以及對其他用戶授權。具體請參考Flink作業權限管理。 ? 運行時配置：支持作業在運行時配置作業異常告警和異常自動重啟。具體請參見操作Flink作業章節中的“運行時配置”。 |
