配置HDFS數據傳輸加密
更新時間 2023-08-22 15:28:18
最近更新時間: 2023-08-22 15:28:18
分享文章
本章主要介紹翼MapReduce的配置HDFS數據傳輸加密功能。
設置HDFS安全通道加密
默認情況下，組件間的通道是不加密的。您可以配置如下參數，設置安全通道為加密的。
參數修改入口：在FusionInsight Manager系統中，選擇“集群 > 待操作集群的名稱 > 服務 > HDFS > 配置”，展開“全部配置”頁簽。在搜索框中輸入參數名稱。
說明配置后應重啟對應服務使參數生效。
詳見下表：參數說明
| 配置項 | 描述 | 默認值 |
|---|---|---|
| hadoop.rpc.protection | 須知 設置后需要重啟服務生效，且不支持滾動重啟。 設置后需要重新下載客戶端配置，否則HDFS無法提供讀寫服務。 設置Hadoop中各模塊的RPC通道是否加密。通道包括： 客戶端訪問HDFS的RPC通道。 HDFS中各模塊間的RPC通道，如DataNode與NameNode間。 客戶端訪問Yarn的RPC通道 NodeManager和ResourceManager間的RPC通道。 Spark訪問Yarn，Spark訪問HDFS的RPC通道。 Mapreduce訪問Yarn，MapReduce訪問HDFS的RPC通道。 HBase訪問HDFS的RPC通道。 說明 設置后全局生效，即Hadoop中各模塊的RPC通道的加密屬性全部生效。 |
安全模式：privacy 普通模式：authentication 說明 “authentication”：只進行認證，不加密。 “integrity”：進行認證和一致性校驗。 “privacy”：進行認證、一致性校驗、加密。 |
| dfs.encrypt.data.transfer | 設置客戶端訪問HDFS的通道和HDFS數據傳輸通道是否加密。HDFS數據傳輸通道包括DataNode間的數據傳輸通道，客戶端訪問DataNode的DT（Data Transfer）通道。設置為“true”表示加密，默認不加密。 說明 僅當hadoop.rpc.protection設置為privacy時使用。 業務數據傳輸量較大時，默認啟用加密對性能影響嚴重，使用時請注意。 如果互信集群的一端集群配置了數據傳輸加密，則對端集群也需配置同樣的數據傳輸加密。 |
FALSE |
| dfs.encrypt.data.transfer.algorithm | 設置客戶端訪問HDFS的通道和HDFS數據傳輸通道的加密算法。只有在dfs.encrypt.data.transfer配置項設置為“true”，此參數才會生效。 說明 缺省值為“3des”，表示采用3DES算法進行加密。此處的值還可以設置為“rc4”，避免出現安全隱患，不推薦設置為該值。 |
3des |
| dfs.encrypt.data.transfer.cipher.suites | 可以設置為空或“AES/CTR/NoPadding”，用于指定數據加密的密碼套件。如果不指定此參數，則使用“dfs.encrypt.data.transfer.algorithm”參數指定的加密算法進行數據加密。默認值為“AES/CTR/NoPadding”。 | AES/CTR/NoPadding |
