本章節指導用戶在創建后,將現有集群的Hive元數據切換為本地數據庫或者RDS數據庫中存儲的元數據。該操作可以使多個MRS集群共用同一份元數據,且元數據不隨集群的刪除而刪除。也能夠避免集群遷移時Hive元數據的遷移。
說明
不同集群間Hive元數據切換時,MRS當前只對Hive組件自身的元數據數據庫中的權限進行同步。這是由于當前MRS上的權限模型是在Manager上維護的,所以不同集群間的Hive元數據切換,不能自動把用戶/用戶組的權限同步到另一個集群的Manager上。
對于MRS 3.x之前版本,當用戶選擇的數據連接為“RDS服務MySQL數據庫”時,請確保使用的數據庫用戶為root用戶。如果為非root用戶,請參考 管理數據連接章節-[配置數據連接](//www.daliqc.cn/document/10000070/10121165)中的 數據連接前置操作新建用戶并為該用戶進行賦權。
對于MRS 3.x及之后版本,當用戶選擇的數據連接為“RDS服務MySQL數據庫”時,數據庫用戶不允許為root用戶,請參考 管理數據連接章節-[配置數據連接](//www.daliqc.cn/document/10000070/10121165)中的 數據連接前置操作新建用戶并為該用戶進行賦權。
配置Hive數據連接
該功能在MRS 3.0.5版本暫不支持。
1.登錄MRS控制臺,在導航欄選擇“集群列表 > 現有集群”。
2.單擊集群名稱,進入集群詳情頁面。
3.在集群詳情頁的“概覽”頁簽,單擊“數據連接”右側的“單擊管理”。
4.在“數據連接”頁面顯示集群已關聯的數據連接,單擊“編輯”或“刪除”可對數據連接進行編輯或刪除。
5.若“數據連接”頁面沒有關聯連接,單擊“配置數據連接”進行增加。
說明一種模塊類型只能配置一個數據連接,如在Hive元數據上配置了數據連接后,不能再配置其他的數據連接。當沒有可用的模塊類型時,“配置數據連接”按鈕不可用。
配置Hive數據連接
| 參數 | 說明 |
|---|---|
| 組件名稱 | Hive |
| 模塊類型 | Hive元數據 |
| 連接類型 | RDS服務MySQL數據庫 本地數據庫 |
| 連接實例 | 當“連接類型”參數選擇“RDS服務PostgreSQL數據庫”或“RDS服務MySQL數據庫”時有效。選擇MRS集群與RDS服務數據庫連接名稱,該連接必須先創建才能在此處引用。可單擊“創建數據連接”進行創建,具體請參考配置數據連接中的創建數據連接。 |
6.單擊“測試”,測試此數據連接和集群的連通性。
7.連接成功后單擊“確定” 完成配置數據連接。
說明
配置了Hive元數據后,請重啟Hive服務,Hive會在指定的數據庫下創建Hive必須的數據庫表(如表已經存在則不會創建)。
重啟Hive服務前,請確保已安裝對應驅動包到所有MetaStore實例所在節點中。
Postgres:使用開源驅動包替換集群已有的驅動包。將postgres驅動包postgresql-42.2.5.jar上傳至所有MetaStore實例節點${BIGDATA_HOME}/third_lib/Hive目錄下(開源驅動包下載地址:[//repo1.maven.org/maven2/org/postgresql/postgresql/42.2.5/](//repo1.maven.org/maven2/org/postgresql/postgresql/42.2.5/ " "))。
MySQL:進入MySQL官網(//www.mysql.com/),選擇“Downloads > Community > MySQL Connectors > Connector/J”下載對應版本的驅動包,將MySQL對應版本的驅動包上傳至所有Metastore實例節點“/opt/Bigdata/FusionInsight_HD_ */install/FusionInsight-Hive-* /hive-*/lib/”目錄下。