當需要控制集群服務可以使用節點的資源情況,或者在不同時間段集群服務使用節點的CPU不同,用戶可以在MRS Manager調整資源基數,并自定義資源配置組。
前提條件
- 配置靜態服務池后,HDFS和YARN服務需要重啟,重啟期間服務不可用。
- 配置靜態服務池后,各服務及角色實例使用的最大資源將不能超過限制。
操作步驟
修改系統資源調整基數。
- 在MRS Manager界面,單擊“系統設置”,在“資源管理”區域單擊“靜態服務池”。
- 單擊“配置”,顯示服務池配置組管理頁面。
- 在“系統資源調整基數”分別修改參數“CPU(%)”和“Memory(%)”。
修改“系統資源調整基數”將限制Flume、HBase、HDFS、Impala和YARN服務能夠使用節點的最大物理CPU和內存資源百分比。如果多個服務部署在同一節點,則所有服務使用的最大物理資源百分比不能超過此參數值。
- 單擊“下一步”完成編輯。
需要重新修改參數,可單擊頁面下方的“上一步”。
修改服務池默認“default”配置組。
- 在“服務池配置”表格中Flume、HBase、HDFS、Impala和YARN服務對應的“CPU LIMIT(%)”、“CPU SHARE(%)”、“I/O(%)”和“Memory(%)”填寫各服務的資源使用百分比數量。
說明
所有服務使用的“CPU LIMIT(%)”資源配置總和可以大于100%。
所有服務使用的“CPU SHARE(%)”和“I/O(%)”資源配置總和需為100%。例如為HDFS和Yarn服務分配使用的CPU資源,2個服務分配到的CPU資源總和為100%。
所有服務使用的“Memory(%)”資源配置總和可以小于或等于100%,也可以大于100%。
“Memory(%)”不支持動態生效,僅在“default”配置組中可以修改。
- 單擊頁面空白處完成編輯,MRS Manager將根據集群硬件資源與分配情況,在“詳細配置”生成服務池參數的正確配置值。
- 如果根據業務需要,可以單擊“詳細配置”右側的

修改服務池的參數值。
在“服務池配置”單擊指定的服務名,“詳細配置”將只顯示此服務的參數。手工修改參數值并不會刷新服務使用資源的百分比顯示。支持動態生效的參數,在新增加的配置組中顯示名將包含配置組的編號,例如“HBase : RegionServer : dynamic-config1.RES_CPUSET_PERCENTAGE”,參數作用與“default”配置組中的參數相同。
詳見下表:靜態服務池參數一覽
| 參數名 | 參數描述 |
|---|---|
| RES_CPUSET_PERCENTAGE dynamic-configX.RES_CPUSET_PERCENTAGE |
配置服務使用CPU PERCENTAGE。 |
| RES_CPU_SHARE dynamic-configX.RES_CPU_SHARE |
配置服務使用CPU share。 |
| RES_BLKIO_WEIGHT dynamic-configX.RES_BLKIO_WEIGHT |
配置服務占用I/O的權重。 |
| HBASE_HEAPSIZE | 配置RegionServer的JVM最大內存。 |
| HADOOP_HEAPSIZE | 配置DataNode的JVM最大內存。 |
| yarn.nodemanager.resource.memory-mb | 配置當前節點上NodeManager可使用的內存大小。 |
| dfs.datanode.max.locked.memory | 配置DataNode用做HDFS緩存的最大內存。 |
| FLUME_HEAPSIZE | 配置每個flume實例能使用的最大JVM內存。 |
| IMPALAD_MEM_LIMIT | 配置impalad實例可使用的最大內存。 |
添加自定義資源配置組
- 是否需要根據時間自動調整資源配置?
是,執行步驟2。
否,執行步驟4。
- 單擊

增加新的資源配置組。在“調度時間”,單擊
顯示時間策略配置頁面。
根據業務需要修改以下參數,并單擊“確定”保存:
- “重復”:當勾選“重復”時表示此資源配置組按調度周期重復運行。不勾選時請設置一個資源配置組應用的日期與時間。
- “重復策略”:支持“每天”、“每周”和“每月”。僅在“重復”模式中生效。
- “介于”:表示資源配置組應用的開始與結束時間。請設置一個唯一的時間區間,如果與已有配置組的時間區間有重疊,則無法保存。僅在“重復”模式中生效。
說明
“default”配置組會在所有未定義的時間段內生效。
新增加的配置組屬于動態生效的配置項集合,在配置組應用的時間區間內可直接生效。
新增加的配置組可以被刪除。最多增加4個動態生效的配置組。
選擇任一種“重復策略”,如果結束時間小于開始時間,默認標識為第二天的時間。例如“22:00”到“6:00”表示調度時間為當天22點到第二天6點。
若多個配置組的“重復策略”類型不相同,則時間區間可以重疊,且生效的策略優先級從低到高的順序為“每天”、“每周”、“每月”。例如,有“每月”與“每天”的調度配置組,時間區間分別為4:00到7:00,6:00到8:00,此時以每月的配置組為準。
若多個配置組的“重復策略”類型相同,當日期不相同時,則時間區間可以重疊。例如,有兩個“每周”的調度配置組,可以分別指定時間區間為周一和周三的4:00到7:00。
- 在“服務池配置”修改各服務資源配置,并單擊頁面空白處完成編輯,然后執行步驟4。
用戶可單擊“服務池配置”右側
的
重新修改參數。如果根據業務需要,在“詳細配置”單擊
,手動更新由系統生成的參數值。
保存配置
單擊“保存”,在“保存配置”窗口勾選“重新啟動受影響的服務或實例。”,單擊是保存并重啟相關服務。
界面提示“操作成功。”,單擊“完成”,服務成功啟動。