操作場景
新安裝的MRS集群默認即使用了Superior調度器,如果是歷史版本升級的集群,管理員可以根據以下指導,將Yarn的調度器從Capacity調度器一鍵式切換到Superior調度器。
前提條件
- 確保集群網絡通暢,網絡環境安全,Yarn服務狀態正常。
- 在切換調度器期間,不允許做添加、刪除、修改租戶,以及啟停服務等操作。
對系統的影響
- 調度器切換過程中,由于要重啟Resource Manager,因此切換期間向Yarn提交任務會失敗。
- 調度器切換過程中,正在Yarn上面執行的Job的Task任務會繼續執行,但不會啟動新的Task。
- 調度器切換完成后,在Yarn上面執行的任務有可能會失敗進而導致業務中斷。
- 調度器切換完成后,在租戶管理中將使用Superior的相關參數。
- 調度器切換完成后,Capacity調度器中“資源容量”為“0”的租戶隊列在Superior調度器中分配不到資源,提交到該租戶隊列的任務會執行失敗。建議在Capacity調度器中不要將租戶隊列的“資源容量”配置為“0”。
- 調度器切換完成后,在觀察期內,不允許對資源池、Yarn節點標簽(Label)和租戶做添加、刪除的操作。若添加或者刪除了資源池、Yarn節點標簽(Label)或租戶,將不支持回退到Capacity調度器。
說明
切換調度器觀察期建議為一周,如果對資源池、Yarn節點標簽(Label)或租戶做了添加、刪除的操作,將視為觀察期結束。
回退可能會丟失部分或者所有的Yarn任務信息。
從Capacity調度器切換到Superior調度器
- 確保Yarn服務狀態正常。
- 使用管理員帳號,登錄FusionInsight Manager系統。
- 選擇“集群 > 待操作的集群名稱 > 服務”,查看Yarn服務的狀態是否正常。
- 使用omm用戶登錄主管理節點。
- 執行調度器切換。
調度器切換分為三種模式:
0:將Capacity調度器配置轉換到Superior,然后將Capacity調度器切換到Superior。
1:只將Capacity調度器配置轉換到Superior。
2:只將Capacity調度器切換到Superior。
- 集群環境相對簡單,租戶數小于20的情況下,建議執行模式0,將Capacity調度器配置轉換到Superior的同時切換調度器。
執行以下命令。
sh ${BIGDATA_HOME}/om-server/om/sbin/switchScheduler.sh -c 集群ID -m 0
說明“集群ID”為需執行操作集群ID號,可在FusionInsight Manager的“集群 > 待操作集群的名稱 > 集群屬性”中查看。
```
Start to convert Capacity scheduler to Superior Scheduler, clusterId=1
Start to convert Capacity scheduler configurations to Superior. Please wait...
Convert configurations successfully.
Start to switch the Yarn scheduler to Superior. Please wait...
Switch the Yarn scheduler to Superior successfully.
```
* 集群環境相對復雜,租戶信息復雜,且要求將capacity調度器隊列配置信息保留到Superior調度器,建議先執行模式1,將Capacity調度器配置信息轉化成Superior配置信息,對轉換過來的配置信息做檢查后,再執行模式2,將Capacity調度器切換到Superior。
a. 執行以下命令,將Capacity調度器配置信息轉化成Superior配置信息。
sh ${BIGDATA_HOME}/om-server/om/sbin/switchScheduler.sh -c 集群ID -m 1
Start to convert Capacity scheduler to Superior Scheduler, clusterId=1
Start to convert Capacity scheduler configurations to Superior. Please wait...
Convert configurations successfully.
b. 執行以下命令,將Capacity調度器切換到Superior。
sh ${BIGDATA_HOME}/om-server/om/sbin/switchScheduler.sh -c 集群ID -m 2
Start to convert Capacity scheduler to Superior Scheduler, clusterId=1
Start to switch the Yarn scheduler to Superior. Please wait...
Switch the Yarn scheduler to Superior successfully.
- 不保存Capacity調度器隊列配置,建議直接執行模式2,只切換調度器,不轉換配置。
a. 登錄FusionInsight Manager,刪除除了default租戶的所有租戶。
b. 登錄FusionInsight Manager,刪除除了default資源池的所有資源池。
執行以下命令,將Capacity調度器切換到Superior。
sh ${BIGDATA_HOME}/om-server/om/sbin/switchScheduler.sh -c 集群ID -m 2
Start to convert Capacity scheduler to Superior Scheduler, clusterId=1
Start to switch the Yarn scheduler to Superior. Please wait...
Switch the Yarn scheduler to Superior successfully.
說明登錄主管理節點,可查看調度器切換的日志信息。
${BIGDATA_LOG_HOME}/controller/aos/switch_scheduler.log
${BIGDATA_LOG_HOME}/controller/aos/aos.log