簡介

HDFS是大數據集群中的分布式文件存儲服務，存放大數據集群上層應用的所有用戶數據，例如寫入HBase表或Hive表的數據。

目錄是HDFS存儲資源分配的基本單位。HDFS支持傳統的層次型文件組織結構。用戶或者應用程序可以創建目錄，在目錄中創建、刪除、移動或重命名文件。租戶通過指定HDFS文件系統的目錄來獲取存儲資源。

調度機制

系統支持將HDFS目錄存儲到指定標簽的節點上，或存儲到指定硬件類型的磁盤上。例如以下業務場景：

• 實時查詢與數據分析共集群時，實時查詢只需部署在部分節點上，其數據也應盡可能的只存儲在這些節點上。
• 關鍵數據根據實際業務需要保存在具有高度可靠性的節點中。

管理員可以根據實際業務需要，通過數據特征靈活配置HDFS數據存儲策略，將數據保存在指定的節點上。

對于租戶，存儲資源是各租戶所占用的HDFS資源。可以通過將指定目錄的數據存儲到租戶配置的存儲路徑中，實現存儲資源調度，保證租戶間的數據隔離。

用戶可以添加/刪除租戶HDFS存儲目錄，設置目錄的文件數量配額和存儲空間配額來管理存儲資源。