支持使用OBS文件系統中加密后的數據來運行作業,同時支持將加密后的作業運行結果存儲在OBS文件系統中。目前僅支持通過OBS協議訪問數據。
OBS支持使用KMS秘鑰的加解密方式對數據進行加解密,所有的加解密操作都在OBS完成,同時秘鑰管理在DEW服務。
如需在MRS中使用OBS加密功能,用戶需要有“KMS Administrator”權限,且需要在相應組件進行如下配置。
說明如果集群同時開啟“OBS權限控制”功能,此時會使用ECS配置的默認委托“MRS_ECS_DEFAULT_AGENCY”或者用戶設置的自定義委托的AK/SK訪問OBS服務,同時OBS服務會使用接收到的AK/SK訪問數據加密服務獲取KMS秘鑰狀態,因此需要在使用的委托上綁定“KMS Administrator”策略,否則在處理加密數據時OBS會返回“403 Forbidden”的錯誤信息。目前MRS服務會在默認委托“MRS_ECS_DEFAULT_AGENCY”綁定“KMS Administrator”策略,用戶使用的自定義委托則需要用戶自己綁定。
前提條件
如需使用OBS加密功能,請先配置MRS訪問OBS功能,具體請參考配置存算分離集群(委托方式)。
Hive配置
1.登錄MRS控制臺,在左側導航欄選擇“集群列表 > 現有集群” ,單擊集群名稱。
2.選擇“組件管理 > Hive > 服務配置”。
3.將“基礎配置”切換為“全部配置”,搜索并配置如下參數:
數據加密參數
| 參數 | 取值 | 說明 |
|---|---|---|
| fs.obs.server-side-encryption-type | SSE-KMS | SSE-KMS:表示使用KMS秘鑰的加解密方式。 NONE:表示關閉加密功能。 |
| fs.obs.server-side-encryption-key | - | 表示用來加密的KMS密鑰ID。該參數可不配置。 當參數“fs.obs.server-side-encryption-type”配置為“SSE-KMS”且該參數未配置時,OBS會使用OBS服務的默認KMS密鑰完成加密。 |
| fs.obs.connection.ssl.enabled | true | 標識是否與OBS建立安全連接。 true:開啟安全連接,當需要使用OBS加解密功能時該參數必須配置為“true”。 false:關閉安全連接。 |
4.單擊“保存配置”,根據界面提示保存修改的參數。
Hadoop配置
方式一:通過界面配置。
1.登錄MRS控制臺,在左側導航欄選擇“集群列表 > 現有集群” ,單擊集群名稱。
2.選擇“組件管理 > HDFS > 服務配置”。
3.將“基礎配置”切換為“全部配置”,搜索并配置如下參數:
數據加密參數
| 參數 | 取值 | 說明 |
|---|---|---|
| fs.obs.server-side-encryption-type | SSE-KMS | SSE-KMS:表示使用KMS秘鑰的加解密方式。 NONE:表示關閉加密功能。 |
| fs.obs.server-side-encryption-key | - | 表示用來加密的KMS密鑰ID。該參數可不配置。 當參數“fs.obs.server-side-encryption-type”配置為“SSE-KMS”且該參數未配置時,OBS會使用OBS服務的默認KMS密鑰完成加密。 |
| fs.obs.connection.ssl.enabled | true | 標識是否與OBS建立安全連接。 true:開啟安全連接,當需要使用OBS加解密功能時該參數必須配置為“true”。 false:關閉安全連接。 |
4.單擊“保存配置”,勾選“重新啟動受影響的服務或實例。”并單擊“確定”。
5.以root用戶登錄Master節點,密碼為用戶創建集群時設置的root密碼(若集群存在多個Master節點,請分別登錄每個Master節點進行步驟5~步驟7的操作)。
6.執行以下命令,切換到客戶端目錄,例如“/opt/Bigdata/client”。
??cd /opt/Bigdata/client
7.執行以下命令更新客戶端配置,并輸入用戶名和密碼,用戶名為admin,密碼為用戶創建集群時設置的admin密碼。
??./ autoRefreshConfig.sh
方式二:通過客戶端配置文件配置。
在Master節點上的客戶端配置文件(例如“/opt/Bigdata/client/HDFS/hadoop/etc/hadoop/core-site.xml”)中的增加如下參數配置(若集群存在多個Master節點,請分別登錄每個Master節點進行該操作)。
數據加密參數
| 參數 | 取值 | 說明 |
|---|---|---|
| fs.obs.server-side-encryption-type | SSE-KMS | SSE-KMS:表示使用KMS秘鑰的加解密方式。 NONE:表示關閉加密功能。 |
| fs.obs.server-side-encryption-key | - | 表示用來加密的KMS密鑰ID。該參數可不配置。 當參數“fs.obs.server-side-encryption-type”配置為“SSE-KMS”且該參數未配置時,OBS會使用OBS服務的默認KMS密鑰完成加密。 |
| fs.obs.connection.ssl.enabled | true | 標識是否與OBS建立安全連接。 true:開啟安全連接,當需要使用OBS加解密功能時該參數必須配置為“true”。 false:關閉安全連接。 |
HBase配置
方式一:通過界面配置。
1.登錄MRS控制臺,在左側導航欄選擇“集群列表 > 現有集群” ,單擊集群名稱。
2.選擇“組件管理 > HBase > 服務配置”。
3.將“基礎配置”切換為“全部配置”,搜索并配置如下參數:
數據加密參數
| 參數 | 取值 | 說明 |
|---|---|---|
| fs.obs.server-side-encryption-type | SSE-KMS | SSE-KMS:表示使用KMS秘鑰的加解密方式。 NONE:表示關閉加密功能。 |
| fs.obs.server-side-encryption-key | - | 表示用來加密的KMS密鑰ID。該參數可不配置。 當參數“fs.obs.server-side-encryption-type”配置為“SSE-KMS”且該參數未配置時,OBS會使用OBS服務的默認KMS密鑰完成加密。 |
| fs.obs.connection.ssl.enabled | true | 標識是否與OBS建立安全連接。 true:開啟安全連接,當需要使用OBS加解密功能時該參數必須配置為“true”。 false:關閉安全連接。 |
4.單擊“保存配置”,勾選“重新啟動受影響的服務或實例。”并單擊“確定”。
5.以root用戶登錄Master節點,密碼為用戶創建集群時設置的root密碼(若集群存在多個Master節點,請分別登錄每個Master節點進行步驟5~步驟7的操作)。
6.執行以下命令,切換到客戶端目錄,例如“/opt/Bigdata/client”。
cd /opt/Bigdata/client
7.執行以下命令更新客戶端配置,并輸入用戶名和密碼,用戶名為admin,密碼為用戶創建集群時設置的admin密碼。
./ autoRefreshConfig.sh
方式二:通過客戶端配置文件配置。
在Master節點上的客戶端配置文件(例如“/opt/Bigdata/client/HBase/hbase/conf/core-site.xml”)中的增加如下參數配置(若集群存在多個Master節點,請分別登錄每個Master節點進行該操作)。
數據加密參數
| 參數 | 取值 | 說明 |
|---|---|---|
| fs.obs.server-side-encryption-type | SSE-KMS | SSE-KMS:表示使用KMS秘鑰的加解密方式。 NONE:表示關閉加密功能。 |
| fs.obs.server-side-encryption-key | - | 表示用來加密的KMS密鑰ID。該參數可不配置。 當參數“fs.obs.server-side-encryption-type”配置為“SSE-KMS”且該參數未配置時,OBS會使用OBS服務的默認KMS密鑰完成加密。 |
| fs.obs.connection.ssl.enabled | true | 標識是否與OBS建立安全連接。 true:開啟安全連接,當需要使用OBS加解密功能時該參數必須配置為“true”。 false:關閉安全連接。 |
Spark配置
方式一:通過界面配置。
1.登錄MRS控制臺,在左側導航欄選擇“集群列表 > 現有集群” ,單擊集群名稱。
2.選擇“組件管理 > Spark > 服務配置”。
3.將“基礎配置”切換為“全部配置”,搜索并配置如下參數:
數據加密參數
| 參數 | 取值 | 說明 |
|---|---|---|
| fs.obs.server-side-encryption-type | SSE-KMS | SSE-KMS:表示使用KMS秘鑰的加解密方式。 NONE:表示關閉加密功能。 |
| fs.obs.server-side-encryption-key | - | 表示用來加密的KMS密鑰ID。該參數可不配置。 當參數“fs.obs.server-side-encryption-type”配置為“SSE-KMS”且該參數未配置時,OBS會使用OBS服務的默認KMS密鑰完成加密。 |
| fs.obs.connection.ssl.enabled | true | 標識是否與OBS建立安全連接。 true:開啟安全連接,當需要使用OBS加解密功能時該參數必須配置為“true”。 false:關閉安全連接。 |
4.單擊“保存配置”,勾選“重新啟動受影響的服務或實例。”并單擊“確定”。
5.以root用戶登錄Master節點,密碼為用戶創建集群時設置的root密碼(若集群存在多個Master節點,請分別登錄每個Master節點進行步驟5~步驟7的操作)。
6.執行以下命令,切換到客戶端目錄,例如“/opt/Bigdata/client”。
??cd /opt/Bigdata/client
7.執行以下命令更新客戶端配置,并輸入用戶名和密碼,用戶名為admin,密碼為用戶創建集群時設置的admin密碼。
??./autoRefreshConfig.sh
方式二:通過客戶端配置文件配置。
在Master節點上的客戶端配置文件(例如“/opt/Bigdata/client/Spark/spark/conf/core-site.xml”)中的增加如下參數配置(若集群存在多個Master節點,請分別登錄每個Master節點進行該操作)。
數據加密參數
| 參數 | 取值 | 說明 |
|---|---|---|
| fs.obs.server-side-encryption-type | SSE-KMS | l SSE-KMS:表示使用KMS秘鑰的加解密方式。 NONE:表示關閉加密功能。 |
| fs.obs.server-side-encryption-key | - | 表示用來加密的KMS密鑰ID。該參數可不配置。 當參數“fs.obs.server-side-encryption-type”配置為“SSE-KMS”且該參數未配置時,OBS會使用OBS服務的默認KMS密鑰完成加密。 |
| fs.obs.connection.ssl.enabled | true | 標識是否與OBS建立安全連接。 true:開啟安全連接,當需要使用OBS加解密功能時該參數必須配置為“true”。 false:關閉安全連接。 |
Presto配置
1.登錄MRS控制臺,在左側導航欄選擇“集群列表 > 現有集群” ,單擊集群名稱。
2.選擇“組件管理 > Presto > 服務配置”。
3.將“基礎配置”切換為“全部配置”,搜索并配置如下參數:
數據加密參數
| 參數 | 取值 | 說明 |
|---|---|---|
| fs.obs.server-side-encryption-type | SSE-KMS | SSE-KMS:表示使用KMS秘鑰的加解密方式。 NONE:表示關閉加密功能。 |
| fs.obs.server-side-encryption-key | - | 表示用來加密的KMS密鑰ID。該參數可不配置。 當參數“fs.obs.server-side-encryption-type”配置為“SSE-KMS”且該參數未配置時,OBS會使用OBS服務的默認KMS密鑰完成加密。 |
| fs.obs.connection.ssl.enabled | true | 標識是否與OBS建立安全連接。 true:開啟安全連接,當需要使用OBS加解密功能時該參數必須配置為“true”。 false:關閉安全連接。 |
4.單擊“保存配置”,勾選“重新啟動受影響的服務或實例。”并單擊“確定”。