配置隊列
更新時間 2023-08-29 16:08:13
最近更新時間: 2023-08-29 16:08:13
分享文章
本章節主要介紹翼MapReduce的配置隊列操作。
操作場景
根據業務需求,管理員可以在FusionInsight Manager修改指定租戶的隊列配置。
前提條件
已添加使用Superior調度器的租戶。
操作步驟
- 在FusionInsight Manager,單擊“租戶資源”。
- 單擊“動態資源計劃”頁簽。
- 單擊“隊列配置”頁簽。
- “集群”參數選擇待操作的集群名稱,然后指定租戶資源名的“操作”列,單擊“修改”。
說明l? 在“租戶資源管理”頁簽左側租戶列表,單擊目標的租戶,切換到“資源”頁簽,單擊“隊列配置(隊列名)”后面的
也能打開修改隊列配置頁面。
l? 一個隊列只能綁定一個非default資源池。
l? 對于“每個YARN容器最多分配核數”、“每個YARN容器最大分配內存(MB)”、“最多運行任務數”、“每個用戶最多運行任務數”和“最多掛起任務數”等參數,為便于操作,當子租戶值為-1時,父租戶值可以設置為具體限制值;當父租戶設置為具體限制值時,子租戶可以設置為-1。
l? “每個YARN容器最多分配核數”和“每個YARN容器最大分配內存(MB)”需要同時修改為非-1的值才會生效。
隊列配置參數
| 參數名 | 描述 |
|---|---|
| AM最多占有資源(%) | 表示當前隊列內所有Application Master所占的最大資源百分比。 |
| 每個YARN容器最多分配核數 | 表示當前隊列內單個YARN容器可分配的最多核數,默認為-1,表示取值范圍內不限制。 |
| 每個YARN容器最大分配內存(MB) | 表示當前隊列內單個YARN容器可分配的最大內存,默認為-1,表示取值范圍內不限制。 |
| 最多運行任務數 | 表示當前隊列最多同時可執行任務的數目,默認為-1,表示取值范圍內不限制(為空意義相同),為0表示不可執行任務。取值范圍為-1~2147483647。 |
| 每個用戶最多運行任務數 | 表示每個用戶在當前隊列中最多同時可執行任務的數目,默認為-1,表示取值范圍內不限制(為空意義相同),為0表示不可執行任務。取值范圍為-1~2147483647。 |
| 最多掛起任務數 | 表示當前隊列最多同時可掛起任務的數目,默認為-1,表示取值范圍內不限制(為空意義相同),為0表示不可掛起任務。取值范圍為-1~2147483647。 |
| 資源分配規則 | 表示單個用戶任務間的資源分配規則,包括FIFO和FAIR。一個用戶若在當前隊列上提交了多個任務,FIFO規則代表一個任務完成后再執行其他任務,按順序執行。FAIR規則代表各個任務同時獲取到資源并平均分配資源。 |
| 默認資源標簽 | 表示在指定資源標簽(Label)的節點上執行任務。 |
| Active狀態 | ACTIVE表示當前隊列可接受并執行任務。 INACTIVE表示當前隊列可接受但不執行任務,若提交任務,任務將處于掛起狀態。 |
| Open狀態 | OPEN表示當前隊列處于打開狀態。 CLOSED表示當前隊列處于關閉狀態,若提交任務,任務直接會被拒絕。 |
| 故障時是否隊列遷移 | 集群開啟單集群跨AZ高可用時,如果AZ故障后,需要當該租戶正在運行的隊列重新提交至其他AZ,可設置“故障時是否隊列遷移”參數為“是”。 |
- 單擊“確定”完成配置。