創建MRS Hive連接器
更新時間 2023-08-17 15:53:52
最近更新時間: 2023-08-17 15:53:52
分享文章
本章節主要介紹創建MRS Hive連接器。
MRS Hive連接適用于MapReduce服務,本教程為您介紹如何創建MRS Hive連接器。
前提條件
- 已創建CDM集群。
- 已獲取MRS集群的Manager IP、管理員賬號和密碼,且該賬號擁有數據導入、導出的操作權限。
- MRS集群和CDM集群之間網絡互通,網絡互通需滿足如下條件:
?CDM集群與云上服務處于不同區域的情況下,需要通過公網或者專線打通網絡。通過公網互通時,需確保CDM集群已綁定EIP,數據源所在的主機可以訪問公網且防火墻規則已開放連接端口。
?CDM集群與云上服務同區域情況下,同虛擬私有云、同子網、同安全組的不同實例默認網絡互通;如果同虛擬私有云但是子網或安全組不同,還需配置路由規則及安全組規則,配置路由規則請參見《虛擬私有云》幫助文檔中的“添加路由信息”章節,配置安全組規則請參見《虛擬私有云》幫助文檔中的“安全組 > 添加安全組規則”章節。
?此外,您還必須確保該云服務的實例與CDM集群所屬的企業項目必須相同,如果不同,需要修改工作空間的企業項目。
新建MRS hive連接
- 在CDM集群管理界面,單擊集群后的“作業管理”,選擇“連接管理 > 新建連接”,進入連接器類型的選擇界面,如下圖所示。
圖 選擇連接器類型

- 連接器類型選擇“MRS Hive”后單擊“下一步”,配置MRS Hive連接的參數,如下圖所示。
圖 創建MRS Hive連接

- 單擊“顯示高級屬性”可查看更多可選參數。這里保持默認,必填參數如下表所示。
表 MRS Hive連接參數
| 參數名 | 說明 | 取值樣例 |
|---|---|---|
| 名稱 | 連接的名稱,根據連接的數據源類型,用戶可自定義便于記憶、區分的連接名。 | mrs-link |
| Manager IP | MRS Manager的浮動IP地址,可以單擊輸入框后的“選擇”來選定已創建的MRS集群,CDM會自動填充下面的鑒權參數。 | 127.0.0.1 |
| 認證類型 | 訪問MRS的認證類型: SIMPLE:非安全模式選擇Simple鑒權。 KERBEROS:安全模式選擇Kerberos鑒權。 |
SIMPLE |
| Hive版本 | Hive的版本。根據服務端Hive版本設置。 | HIVE_3_X |
| 用戶名 | 選擇KERBEROS鑒權時,需要配置MRS Manager的用戶名和密碼。從HDFS導出目錄時,如果需要創建快照,這里配置的用戶需要HDFS系統的管理員權限。 如果要創建MRS安全集群的數據連接,不能使用admin用戶。因為admin用戶是默認的管理頁面用戶,這個用戶無法作為安全集群的認證用戶來使用。您可以創建一個新的MRS用戶,然后在創建MRS數據連接時,“用戶名”和“密碼”填寫為新建的MRS用戶及其密碼。 說明 如果CDM集群為2.9.0版本及之后版本,且MRS集群為3.1.0及之后版本,則所創建的用戶至少需具備Manager_viewer的角色權限才能在CDM創建連接;如果需要對MRS組件的庫、表、列進行操作,還需要參考MRS文檔添加對應組件的庫、表、列操作權限。 如果CDM集群為2.9.0之前的版本,或MRS集群為3.1.0之前的版本,則所創建的用戶需要具備Manager_administrator或System_administrator權限,才能在CDM創建連接。 僅具備Manager_tenant或Manager_auditor權限,無法創建連接。 |
cdm |
| 密碼 | 訪問MRS Manager的用戶密碼。 | - |
| OBS支持 | 需服務端支持OBS存儲。在創建Hive表時,您可以指定將表存儲在OBS中。 | 否 |
| 運行模式 | “HIVE_3_X”版本支持該參數。支持以下模式: EMBEDDED:連接實例與CDM運行在一起,該模式性能較好。 STANDALONE:連接實例運行在獨立進程。如果CDM需要對接多個Hadoop數據源(MRS、Hadoop或CloudTable),并且既有KERBEROS認證模式又有SIMPLE認證模式,只能使用STANDALONE模式。 說明 STANDALONE模式主要是用來解決版本沖突問題的運行模式。當同一種數據連接的源端或者目的端連接器的版本不一致時,存在jar包沖突的情況,這時需要將源端或目的端放在STANDALONE進程里,防止沖突導致遷移失敗。 |
EMBEDDED |
| 檢查Hive JDBC連通性 | 是否需要測試Hive JDBC連通性。 | 否 |
| 是否使用集群配置 | 用戶可以在“連接管理”處創建集群配置,用于簡化Hadoop連接參數配置。 | 否 |
| 屬性配置 | 其他Hive客戶端配置屬性。 | - |
說明單擊“顯示高級屬性”,然后單擊“添加”,您可以添加客戶端的配置屬性。所添加的每個屬性需配置屬性名稱和值。對于不再需要的屬性,可單擊屬性后的“刪除”按鈕進行刪除。
- 單擊“保存”回到連接管理界面,完成MRS Hive連接器的配置。