配置隊列
更新時間 2023-08-29 17:47:59
最近更新時間: 2023-08-29 17:47:59
分享文章
本章節主要介紹如何配置隊列。
操作場景
用戶根據業務需求,可以在MRS修改指定租戶的隊列配置。
前提條件
- 已添加關聯Yarn并分配了動態資源的租戶。
- 已完成IAM用戶同步(在集群詳情頁的“概覽”頁簽,單擊“IAM用戶同步”右側的“同步”進行IAM用戶同步)。
操作步驟
1.在集群詳情頁,單擊“租戶管理”。
說明MRS 3.x及之后版本請參考使用說明。
2.單擊“隊列配置”頁簽。
3.在租戶隊列表格,指定租戶隊列的“操作”列,單擊“修改”。
說明說明
在“租戶管理”頁簽左側租戶列表,單擊目標的租戶,切換到“資源”頁簽,單擊
也能打開修改隊列配置頁面。
一個隊列只能綁定一個非default資源池。
MRS 3.x之前版本:
隊列配置參數
| 參數名 | 描述 |
|---|---|
| 最大應用數量 | 表示最大應用程序數量。取值范圍從“1”到“2147483647”。 |
| AM最大資源百分比 | 表示集群中可用于運行application master的最大資源占比。取值范圍從“0”到“1”。 |
| 用戶資源最小上限百分比(%) | 表示用戶使用的最小資源上限百分比。取值范圍從“0”到“100”。 |
| 用戶資源上限因子 | 表示用戶使用的最大資源限制因子,與當前租戶在集群中實際資源百分比相乘,可計算出用戶使用的最大資源百分比。最小值為“0”。 |
| 狀態 | 表示資源計劃當前的狀態,“運行”為運行狀態,“停止”為停止狀態。 |
| 默認資源池 | 表示隊列使用的資源池。默認為“default”,如果需要修改為其他資源,需要先配置隊列容量,請參見配置資源池的隊列容量策略。 |
MRS 3.x及之后版本:
隊列配置參數
| 參數名 | 描述 |
|---|---|
| AM最多占有資源(%) | 表示當前隊列內所有Application Master所占的最大資源百分比。 |
| 每個YARN容器最多分配核數 | 表示當前隊列內單個YARN容器可分配的最多核數,默認為-1,表示取值范圍內不限制。 |
| 每個YARN容器最大分配內存(MB) | 表示當前隊列內單個YARN容器可分配的最大內存,默認為-1,表示取值范圍內不限制。 |
| 最多運行任務數 | 表示當前隊列最多同時可執行任務的數目,默認為-1,表示取值范圍內不限制(為空意義相同),為0表示不可執行任務。取值范圍為-1~2147483647。 |
| 每個用戶最多運行任務數 | 表示每個用戶在當前隊列中最多同時可執行任務的數目,默認為-1,表示取值范圍內不限制(為空意義相同),為0表示不可執行任務。取值范圍為-1~2147483647。 |
| 最多掛起任務數 | 表示當前隊列最多同時可掛起任務的數目,默認為-1,表示取值范圍內不限制(為空意義相同),為0表示不可掛起任務。取值范圍為-1~2147483647。 |
| 資源分配規則 | 表示單個用戶任務間的資源分配規則,包括FIFO和FAIR。 一個用戶若在當前隊列上提交了多個任務,FIFO規則代表一個任務完成后再執行其他任務,按順序執行。FAIR規則代表各個任務同時獲取到資源并平均分配資源。 |
| 默認資源標簽 | 表示在指定資源標簽(Label)的節點上執行任務。 說明 如果需要使用新的資源池,需要修改默認標簽為新的資源池標簽。 |
| Active狀態 | ACTIVE表示當前隊列可接受并執行任務。 INACTIVE表示當前隊列可接受但不執行任務,若提交任務,任務將處于掛起狀態。 |
| Open狀態 | OPEN表示當前隊列處于打開狀態。 CLOSED表示當前隊列處于關閉狀態,若提交任務,任務直接會被拒絕。 |