安全增強
更新時間 2023-07-04 16:16:58
最近更新時間: 2023-07-04 16:16:58
分享文章
本章節主要介紹翼MapReduce的安全增強特性。
翼MR作為一個海量數據管理和分析的平臺,具備高安全性。翼MR主要從以下幾個方面保障用戶的數據和業務運行安全。
網絡隔離
整個系統部署在公有云上的虛擬私有云中,提供隔離的網絡環境,保證集群的業務、管理的安全性。結合虛擬私有云的子網劃分、路由控制、安全組等功能,為用戶提供高安全、高可靠的網絡隔離環境。
資源隔離
翼MR服務支持資源專屬區內部署,專屬區內物理資源隔離,用戶可以在專屬區內靈活地組合計算存儲資源,包括專屬計算資源+共享存儲資源、共享計算資源+專屬存儲資源、專屬計算資源+專屬存儲資源。
主機安全
翼MR支持與公有云安全服務集成,支持漏洞掃描、安全防護、應用防火墻、堡壘機、網頁防篡改等。針對操作系統和端口部分,提供如下安全措施:
- 操作系統內核安全加固
- 更新操作系統最新補丁
- 操作系統權限控制
- 操作系統端口管理
- 操作系統協議與端口防攻擊
應用安全
通過如下措施保證大數據業務正常運行:
-
身份鑒別和認證
-
Web應用安全
-
訪問控制
-
審計安全
-
密碼安全
數據安全
針對海量用戶數據,提供如下措施保障客戶數據的機密性、完整性和可用性。
- 容災:翼MR支持將數據備份到OBS(對象存儲服務)中,支持跨區域的高可靠性。
- 備份:翼MR支持針對DBService、NameNode、LDAP的元數據備份和對HDFS、HBase的業務數據備份。
數據完整性
通過數據校驗,保證數據在存儲、傳輸過程中的數據完整性。
- 用戶數據保存在HDFS上,HDFS默認采用CRC32C校驗數據的正確性。
- HDFS的DataNode節點負責存儲校驗數據,如果發現客戶端傳遞過來的數據有異常(不完整)就上報異常給客戶端,讓客戶端重新寫入數據。
- 客戶端從DataNode讀數據的時候會同步檢查數據是否完整,如果發現數據不完整,嘗試從其它的DataNode節點上讀取數據。
數據保密性
翼MR分布式文件系統在Apache Hadoop版本基礎上,提供對文件內容的加密存儲功能,避免敏感數據明文存儲,提升數據安全性。業務應用只需對指定的敏感數據進行加密,加解密過程業務完全不感知。在文件系統數據加密基礎上,Hive實現表級加密,HBase實現列族級加密,在創建表時指定采用的加密算法,即可實現對敏感數據的加密存儲。
- 從數據的存儲加密、訪問控制來保障用戶數據的保密性。
- HBase支持將業務數據存儲到HDFS前進行壓縮處理,且用戶可以配置AES和SMS4算法加密存儲。
- 各組件支持本地數據目錄訪問權限設置,無權限用戶禁止訪問數據。
- 所有集群內部用戶信息提供密文存儲。
安全認證
- 基于用戶和角色的認證統一體系,遵從帳戶/角色RBAC(Role-Based Access Control)模型,實現通過角色進行權限管理,對用戶進行批量授權管理。
- 支持安全協議Kerberos,MRS使用LDAP作為帳戶管理系統,并通過Kerberos對帳戶信息進行安全認證。
- 提供單點登錄,統一了MRS系統用戶和組件用戶的管理及認證。
- 對登錄Manager的用戶進行審計。