靜態服務資源
更新時間 2024-11-29 09:37:17
最近更新時間: 2024-11-29 09:37:17
分享文章
本章節主要介紹翼MapReduce的靜態服務資源操作。
簡介
集群分配給各個服務的資源是靜態服務資源,這些服務包括Flume、HBase、HDFS和Yarn。每個服務的計算資源總量固定,不與其他服務共享,是靜態的。租戶通過獨占或共享一個服務來獲取這個服務運行時需要的資源。
靜態服務池
靜態服務池用來指定服務資源的配置。
在服務級別上,靜態服務池對各服務可使用的資源進行統一管理:
- 限制服務使用的資源總量,支持配置Flume、HBase、HDFS和Yarn在部署節點可使用的CPU、I/O和內存總量。
- 實現服務級別的資源隔離,可將集群中的服務與其他服務隔離,使一個服務上的負載對其他服務產生的影響有限。
調度機制
靜態服務資源支持基于時間的動態調度機制,可以在不同時間段為服務配置不同的資源量,優化客戶業務運行環境,提高集群的效率。
在一個復雜的集群環境中,多種服務共享使用集群資源,但是各服務的資源使用周期可能會有比較大的區別。
例如以下業務場景,對于一個銀行客戶:
- 在白天HBase查詢服務的業務多。
- 在晚上查詢服務的業務少而Hive分析服務業務多。
如果只給每個服務設置固定的資源可能會導致:
- 白天查詢服務的資源不夠用,分析服務的資源空閑。
- 晚上分析服務的資源不夠用,查詢服務的資源空閑。
集群資源利用率不高,而且服務能力也打了折扣。因此:
- 白天多配置HBase服務資源。
- 晚上多配置Hive服務資源。
這種基于時間的動態調度機制可以更高效的利用資源,運行任務。