定義
MRS集群擁有的不同資源和服務支持多個組織、部門或應用共享使用。集群提供了一個邏輯實體來統一使用不同資源和服務,這個邏輯實例就是租戶。多個不同的租戶統稱多租戶。當前僅分析集群支持租戶。
MRS集群提供多租戶的功能,支持層級式的租戶模型,支持動態添加和刪除租戶,實現資源的隔離,可以對租戶的計算資源和存儲資源進行動態配置和管理。
原理
計算資源指租戶Yarn任務隊列資源,可以修改任務隊列的配額,并查看任務隊列的使用狀態和使用統計。
存儲資源目前支持HDFS存儲,可以添加刪除租戶HDFS存儲目錄,設置目錄的文件數量配額和存儲空間配額。
MRS Manager作為MRS集群的統一租戶管理平臺,可以為企業提供成熟的多租戶管理模型,實現集中式的租戶和業務管理。租戶可以在界面上根據業務需要,在集群中創建租戶、管理租戶。
- 創建租戶時將自動創建租戶對應的角色、計算資源和存儲資源。默認情況下,新的計算資源和存儲資源的全部權限將分配給租戶的角色。
- 默認情況下,查看當前租戶的資源、在當前租戶中添加子租戶并管理子租戶資源的權限將分配給租戶的角色。
- 修改租戶的計算資源或存儲資源,對應的角色關聯權限將自動更新。
MRS Manager中最多支持512個租戶。系統默認創建的租戶包含“default”。和默認租戶同處于最上層的租戶,可以統稱為一級租戶。
資源池
YARN任務隊列支持一種調度策略,稱為標簽調度(Label Based Scheduling)。通過此策略,YARN任務隊列可以關聯帶有特定節點標簽(Node Label)的NodeManager,使YARN任務在指定的節點運行,實現任務的調度與使用特定硬件資源的需求。例如,需要使用大量內存的YARN任務,可以通過標簽關聯具有大量內存的節點上運行,避免性能不足影響業務。
在MRS集群中,租戶從邏輯上對YARN集群的節點進行分區,使多個NodeManager形成一個資源池。YARN任務隊列通過配置隊列容量策略,與指定的資源池進行關聯,可以更有效地使用資源池中的資源,且互不影響。
MRS Manager中最多支持50個資源池。系統默認包含一個“Default”資源池。