隊列
DLI服務中的隊列即為計算資源,計算資源是使用DLI服務的基礎,用戶執行的一切作業都需要使用計算資源。
當前DLI服務包括“SQL隊列”和“通用隊列”兩種隊列類型。
- SQL隊列用于運行SQL作業。
- 通用隊列用于運行Spark程序、Flink SQL、Flink Jar作業。
約束限制
- DLI服務預置了名為“default”的隊列供用戶體驗,資源的大小按需分配。
- 隊列類型:
?SQL類型隊列:SQL隊列支持提交Spark SQL作業。
?通用隊列:支持Spark程序、Flink SQL、Flink Jar作業。
不支持隊列類型切換,如需使用其他隊列類型,請重新購買新的隊列。
- 隊列不支持切換區域。
- 16CUs隊列不支持擴容和縮容。
- 64CUs隊列不支持縮容。
- 新創建的隊列需要運行作業后才可進行擴縮容。
- DLI隊列不支持訪問公網。
計算資源和存儲資源的區別
詳見下表:計算資源和存儲資源的區別
| 資源名稱 | 獲取方式 | 主要作用 |
|---|---|---|
| 計算資源 | 在DLI管理控制臺創建隊列。 | 執行查詢。 |
| 存儲資源 | DLI服務自帶5G配額。 | 存儲數據庫和DLI表。 |
說明
存儲資源是DLI服務內部的存儲資源,用于存儲數據庫和DLI表,體現用戶存儲在DLI中的數據量。
存儲資源無需創建,DLI默認提供5G配額。
DLI服務預置了名為“default”的隊列。用戶在不確定所需隊列容量或沒有可創建隊列空間的情況下,可以使用該隊列執行作業。
“default”隊列只用于用戶體驗,所有人共用,用戶間可能會出現搶占資源的情況,不能保證每次都可以得到資源執行相關操作。建議使用自建隊列執行作業。
專屬隊列
專屬隊列是指隊列對應的資源為專屬資源,空閑時不釋放,即無論是否使用均保留資源的隊列類型。專屬隊列可以保證提交作業時資源一定存在。
隊列彈性擴縮容
DLI提供了隊列彈性擴縮容的功能。用戶在創建指定規格隊列后,可根據需要進行彈性擴縮容。
根據業務情況,手動更改隊列規格。具體操作請參考隊列彈性擴縮容。
說明
新創建的隊列需要運行作業后才可進行擴縮容。
隊列彈性擴縮容定時任務
DLI提供了隊列彈性擴縮容定時任務的功能。用戶在創建隊列后,可根據需要進行彈性擴縮容定時任務。
根據業務情況,設置隊列自動擴縮容的時間,由系統定時觸發隊列擴縮容。具體操作請參考彈性擴縮容定時任務。
說明
新創建的隊列需要運行作業后才可進行擴縮容。
隊列自動擴縮容
Flink作業使用隊列,DLI可根據作業大小自動觸發擴縮容,用戶無需進行操作。
說明新創建的隊列需要運行作業后才可進行擴縮容。
隊列管理頁面
隊列管理主要包括如下功能:
- 隊列權限管理
- 創建隊列
- 刪除隊列
- 修改隊列網段
- 隊列彈性擴縮容
- 彈性擴縮容定時任務
- 測試地址連通性
- 創建消息通知主題
說明DLI作業執行失敗需要通過SMN發送通知消息,因此需要獲得訪問和使用SMN(消息通知服務)的SMN Administrator權限。
隊列管理頁面顯示用戶創建所有的隊列和服務預置的default隊列。隊列列表默認按創建時間排列,創建時間最近的隊列顯示在最前端。
隊列管理參數
| 參數 | 參數說明 |
|---|---|
| 名稱 | 隊列的名稱。 |
| 類型 | 隊列的類型。 SQL隊列 通用隊列 Spark隊列(兼容老版本) |
| 規格 | 隊列大小,單位:CUs。 CUs是隊列的計價單位。1CUs=1Core 4GMem。不同規格的隊列對應的計算能力不一樣,規格越高計算能力越好。 |
| 實際CUs | 當前隊列實際大小值。 |
| 彈性擴縮容 | 定時擴縮容的目標CU值,或當前規格CU值的最大值和最小值。 |
| 用戶名 | 隊列所有者。 |
| 描述 | 創建隊列時,對隊列的描述。如果無描述,則顯示“--”。 |
| 操作 | 刪除:刪除所選隊列。如果隊列中有正在提交或者正在運行的作業,將不支持刪除操作。 權限管理:查看隊列對應的用戶權限信息以及對其他用戶授權。 更多 ? 重啟:強制重啟隊列。 說明 只有SQL隊列有“重啟”操作。 ? 彈性擴縮容:可以根據需要選擇“擴容”或“縮容”,目標值大小必須為16CU的整數倍。 ? 彈性擴縮容定時任務:可以根據業務周期或使用情況,在不同的時間或周期內設置不同的隊列大小,系統將定時自動進行“擴容”或“縮容”。目標值大小必須為16CU的整數倍。 ? 修改網段:使用DLI增強型跨源時,DLI隊列網段與數據源網段不能重合,可根據需要進行修改。 ? 測試地址連通性:測試隊列到指定地址是否可達,支持域名和ip,可指定端口。 |