資源概述
更新時間 2023-05-30 21:13:38
最近更新時間: 2023-05-30 21:13:38
分享文章
本章節主要介紹翼MapReduce的資源概述操作。
MRS集群的資源分為計算資源和存儲資源。多租戶可實現資源的隔離:
- 計算資源
計算資源包括CPU和內存。租戶之間不可以相互占用計算資源,私有計算資源獨立。
- 存儲資源
存儲資源包括磁盤或第三方存儲系統。租戶之間不可以相互訪問數據,私有存儲資源獨立。
計算資源
計算資源可分為靜態服務資源和動態資源:
- 靜態服務資源
靜態服務資源是集群分配給各個服務的計算資源,每個服務的計算資源總量固定,不與其他服務共享,是靜態的。這些服務包括Flume、HBase、HDFS和Yarn。
- 動態資源
動態資源是分布式資源管理服務Yarn動態調度給任務隊列的計算資源。Mapreduce、Spark2x、Flink和Hive的任務隊列由Yarn來動態調度資源。
說明
大數據集群為Yarn分配的資源是靜態服務資源,可以由Yarn動態分配給任務隊列計算使用。
存儲資源
存儲資源是分布式文件存儲服務HDFS中可分配的數據存儲空間資源。目錄是HDFS存儲資源分配的基本單位,租戶通過指定HDFS文件系統的目錄來獲取存儲資源。