場景介紹
一個企業有多個部門,多個部門不同業務數據分析的時間段可能有所差異,具體場景如下:
- A部門:在00:00-09:00時間段內資源請求量大,其他時間段有短時間的資源請求量不大的任務運行。
- B部門:在10:00-22:00時間段內資源請求量大,其他時間段內也有固定周期的作業請求也需要保障。
針對上述場景,彈性資源池上可以添加兩個隊列,隊列test_a用于運行A部門的作業任務,隊列test_b運行B部門的作業任務。兩個部門請求量大的任務時間段固定,則可以在test_a和test_b隊列上分別添加兩個時間段00:00-09:00和10:00-23:00的擴縮容策略,其他時間段的作業任務通過配置隊列的默認擴縮容策略進行保障。
隊列名 新增的擴縮容時間段 新增的擴縮容時間段優先級 新增的擴縮容時間段最小和最大CU 默認擴縮容時間段 默認時間段優先級 默認擴縮容時間段最小和最大CU 備注 test_a
[00:00,09:00)
20
最小CU:64
最大CU:128
新增的擴縮容時間段[00:00,09:00)以外的時間段范圍 5
最小CU:16
最大CU:32
運行A部門作業
test_b
[10:00,23:00)
20
最小CU:64
最大CU:128
新增的擴縮容時間段[10:00,23:00)以外的時間段范圍
5
最小CU:32
最大CU:64
運行B部門作業
注意事項
- 在全天的任意一個時間段內,彈性資源池中所有隊列的最小CU數之和需要小于等于彈性資源池的最小CU數。
- 在全天的任意一個時間段內,彈性資源池中任意一個隊列的最大CU必須小于等于彈性資源池的最大CU。
- 同一隊列不同擴縮容策略的時間段區間不能有交集。
- 彈性資源池隊列中的擴縮容策略時間段僅支持整點的時間段設置,并且包含設置的開啟時間,不包含設置的結束時間,例如設置時間段00-09,則時間段范圍為:[00:00,09:00)。默認的擴縮容策略不支持時間段配置修改。
- 彈性資源池擴縮容策略生效規則為:在任意一個時間段周期內,優先滿足所有隊列的最小CU數。剩余的CU(彈性資源池最大CU-所有隊列的最小CU數之和)則根據配置的優先級順序分配:
?如果隊列的優先級不同,根據配置的優先級順序分配,直到剩余的CU數分配完成。
?如果隊列的優先級相同,資源會被隨機分配到某一隊列,如果分配后資源還有剩余會隨機分配到剩下的某一隊列中,直到剩余的CU數分配完成。
彈性資源池擴縮容CU分配場景說明
場景 彈性資源池CU數分配說明 彈性資源池當前最大CU為256CU,添加了兩個隊列,分別為隊列A和隊列B。兩個隊列設置的擴縮容策略如下: l? ? 隊列A擴縮容策略:優先級5,時間段:00:00-9:00,最小CU是32,最大CU是128
l? ? 隊列B擴縮容策略:優先級10,時間段:00:00-9:00,最小CU是64,最大CU是128
到了00:00-9:00時間段:
1.?? ? 彈性資源池優先滿足兩個隊列的最小CU,隊列A先分配32CU,隊列B分配64CU,剩余CU數為160CU:彈性資源池的最大CU-兩個隊列的最小CU之和=256-32-64=160CU。
2.?? ? 剩余CU數根據優先級高低來分配,因為隊列B的優先級高于隊列A,則優先將64CU分配給隊列B,剩余的96CU全部分配給隊列A。
彈性資源池當前最大CU為96CU,添加了兩個隊列,分別為隊列A和隊列B。兩個隊列設置的擴縮容策略如下:
l? ? 隊列A擴縮容策略:優先級5,時間段:00:00-9:00,最小CU是32,最大CU是64
l? ? 隊列B擴縮容策略:優先級10,時間段:00:00-9:00,最小CU是64,最大CU是128
到了00:00-9:00時間段:
1.?? ? 彈性資源池優先滿足兩個隊列的最小CU,隊列A先分配32CU,隊列B分配64CU,剩余CU數為0CU:彈性資源池的最大CU-兩個隊列的最小CU之和=96-32-64=0CU。
2.?? ? 因為剩余的CU數已經沒有,則停止分配。
彈性資源池當前最大CU為128CU,添加了兩個隊列,分別為隊列A和隊列B。兩個隊列設置的擴縮容策略如下:
l? ? 隊列A擴縮容策略:優先級5,時間段:00:00-9:00,最小CU是32,最大CU是64
l? ? 隊列B擴縮容策略:優先級10,時間段:00:00-9:00,最小CU是64,最大CU是128
到了00:00-9:00時間段:
1.?? ? 彈性資源池優先滿足兩個隊列的最小CU,隊列A先分配32CU,隊列B分配64CU,剩余CU數為32CU:彈性資源池的最大CU-兩個隊列的最小CU之和=128-32-64=32CU。
2.?? ? 按照優先級,則優先將剩余的32CU分配給B隊列后停止分配。
彈性資源池當前最大CU為128CU,添加了兩個隊列,分別為隊列A和隊列B。兩個隊列設置的擴縮容策略如下:
l? ? 隊列A擴縮容策略:優先級5,時間段:00:00-9:00,最小CU是32,最大CU是64
l? ? 隊列B擴縮容策略:優先級5,時間段:00:00-9:00,最小CU是64,最大CU是128
到了00:00-9:00時間段:
1.?? ? 彈性資源池優先滿足兩個隊列的最小CU,隊列A先分配32CU,隊列B分配64CU,剩余CU數為32CU:彈性資源池的最大CU-兩個隊列的最小CU之和=128-32-64=32CU。
2.?? ? 因為兩個隊列的優先級相同,則剩余32CU隨機分配給兩個隊列。
彈性資源池隊列擴縮容策略配置
1.登錄DLI控制臺,參考創建彈性資源池創建一個最小CU數為128CU和最大CU數為256CU的彈性資源池。
2.單擊“資源管理 > 彈性資源池”,在已創建的彈性資源池所在行的“操作”列單擊“隊列管理”。
3.參考彈性資源池添加隊列添加隊列test_a,在添加隊列擴縮容配置步驟里面添加擴縮容策略。
- 設置默認的時間段優先級為5,最小CU為16,最大CU為32。
- 單擊“新增”,添加一個優先級為20,時間段為:00--09,最小CU為64,最大CU為128。
4.添加完成后,可以在隊列管理的界面看到隊列test_a的擴縮容策略配置。
單擊結果圖形化按鈕,可以看到隊列test_a的優先級和所有時間段的CU設置。
5.參考彈性資源池添加隊列添加隊列test_b,在添加隊列擴縮容配置步驟里面添加擴縮容策略。
- 設置默認的時間段優先級為5,最小CU為32,最大CU為64。
- 單擊“新增”,添加一個優先級為20,時間段為:10--23,最小CU為64,最大CU為128。
添加完成后,可以在隊列管理的界面看到隊列test_b的擴縮容策略配置。
單擊結果圖形化按鈕,可以看到隊列test_b和test_a所有時間段的優先級和CU設置。