新建MRS Hive連接
更新時間 2023-07-07 12:13:11
最近更新時間: 2023-07-07 12:13:11
分享文章
本章節主要介紹新建MRS Hive連接。
本章節以新建MRS Hive連接為例,介紹如何建立DataArts Studio與數據湖底座之間的數據連接。
前提條件
- 在創建數據連接前,請確保您已創建所要連接的數據湖(如DataArts Studio所支持的數據庫、云服務等)。
- 在創建DWS類型的數據連接前,您需要先在DWS服務中創建集群,并且具有KMS密鑰的查看權限。
- 在創建MRS HBase、MRS Hive、MRS Kafka、MRS Ranger、MRS Spark、MRS Presto類型的數據連接前,需確保您已創建MRS集群,并且在創建數據鏈接時已創建選擇所需要的組件。
- 在創建RDS類型的數據連接前,請確保您已創建RDS數據庫實例。DataArts Studio平臺目前僅支持RDS中的MySQL和PostgreSQL數據庫引擎。
- 在創建數據連接前,請確保待連接的數據湖與DataArts Studio實例之間網絡互通。
- 如果數據湖為云下的數據庫,則需要通過公網或者專線打通網絡,確保數據源所在的主機可以訪問公網,并且防火墻規則已開放連接端口。
- 如果數據湖為云上服務(如DWS、MRS等),則網絡互通需滿足如下條件:
①DataArts Studio實例(指DataArts Studio實例中的CDM集群)與云上服務處于不同區域的情況下,需要通過公網或者專線打通網絡。
② DataArts Studio實例(指DataArts Studio實例中的CDM集群)與云上服務同區域情況下,同虛擬私有云、同子網、同安全組的不同實例默認網絡互通;如果同虛擬私有云但是子網或安全組不同,還需配置路由規則及安全組規則,配置路由規則請參見《虛擬私有云》幫助文檔中的“添加路由信息”章節,配置安全組規則請參見《虛擬私有云》幫助文檔中的“安全組 > 添加安全組規則”章節。
③此外,您還必須確保該云服務的實例與DataArts Studio工作空間所屬的企業項目必須相同,如果不同,您需要修改工作空間的企業項目。
創建數據連接
- 在DataArts Studio控制臺首頁,選擇對應工作空間的“管理中心”模塊,進入管理中心頁面。
詳見下圖:選擇管理中心

- 在管理中心頁面,單擊“數據連接”,進入數據連接頁面。
詳見下圖:創建數據連接

- 單擊“創建數據連接”,在彈出的對話框中,選擇“數據連接類型”為“MapReduce服務(MRS Hive)”,詳見下方圖片創建數據連接 及 MRS Hive連接配置參數,并參見表MRS Hive數據連接配置相關參數。

MRS Hive連接配置參數

詳見下表:MRS Hive數據連接
| 參數 | 是否必選 | 說明 |
|---|---|---|
| 數據連接名稱 | 是 | 數據連接的名稱,只能包含英文字母、數字、下劃線和中劃線,且長度為1~50個字符。 |
| 標簽 | 否 | 標識數據連接的屬性。設置標簽后,便于統一管理。 說明 標簽的名稱,只能包含中文、英文字母、數字和下劃線,不能以下劃線開頭。且長度不能超過100個字符。 |
| 集群名 | 是 | 選擇Hive所屬的MRS集群。如果在下拉列表中無法顯示MRS集群,請檢查MRS集群與DataArts Studio實例是否網絡互通。 需確保MRS集群和DataArts Studio實例之間網絡互通,網絡互通需滿足如下條件: DataArts Studio實例(指DataArts Studio實例中的CDM集群)與MRS集群處于不同區域的情況下,需要通過公網或者專線打通網絡。通過公網互通時,需確保CDM集群已綁定EIP,MRS集群可以訪問公網且防火墻規則已開放連接端口。 DataArts Studio實例(指DataArts Studio實例中的CDM集群)與MRS集群同區域情況下,同虛擬私有云、同子網、同安全組的不同實例默認網絡互通;如果同虛擬私有云但子網或安全組不同,還需配置路由規則及安全組規則,配置路由規則請參見《虛擬私有云》幫助文檔中的“自定義路由(Region TypeⅠ)>添加路由信息”章節,配置安全組規則請參見《虛擬私有云》幫助文檔中的“安全組>添加安全組規則”章節。 此外,還需確保該MRS集群與DataArts Studio工作空間所屬的企業項目相同,如果不同,您需要修改工作空間的企業項目。 |
| 連接方式 | 是 | 選擇所需的連接方式,推薦使用“通過代理連接”。 通過代理連接:通過Agent(即CDM集群)進行代理,以MRS集群的用戶名和密碼訪問MRS集群。代理連接方式支持MRS所有版本的集群。 MRS API連接:以MRS API的方式訪問MRS集群。MRS API連接僅支持2.X及更高版本的MRS集群。 選擇MRS API連接時,有以下約束: 1. 無法查看表和字段。 2. 在SQL編輯器運行SQL時,只能以日志形式顯示執行結果。 3. 數據治理(如數據架構、數據質量、數據目錄等組件)功能無法使用MRS API連接。 說明 為保證數據架構、數據質量、數據目錄、數據服務等組件能夠使用此MRS連接,此處連接方式推薦配置為“通過代理連接”。 |
| 用戶名 | 否 | MRS集群的用戶名,通過代理連接的時候,是必選項。如果使用新建的MRS用戶進行連接,您需要先登錄Manager頁面,并更新初始密碼。 如果要創建MRS安全集群的數據連接,不能使用admin用戶。因為admin用戶是默認的管理頁面用戶,這個用戶無法作為安全集群的認證用戶來使用。您可以參考創建數據連接章節中的 創建MRS安全集群的kerberos認證用戶 創建一個新的MRS用戶,然后在創建MRS數據連接時,“用戶名”和“密碼”填寫為新建的MRS用戶及其密碼。 說明 MRS 3.1.0及之后版本集群,所創建的用戶至少需具備Manager_viewer的角色權限才能在管理中心創建連接;如果需要對應組件的進行庫、表、數據的操作,還需要添加對應組件的用戶組權限。 MRS 3.1.0版本之前的集群,所創建的用戶需要具備Manager_administrator或System_administrator權限,才能在管理中心創建連接。 僅具備Manager_tenant或Manager_auditor權限,無法創建連接。 |
| 密碼 | 否 | MRS集群的訪問密碼,通過代理連接的時候,是必選項。 |
| KMS密鑰 | 否 | KMS密鑰名稱。通過代理連接的時候,是必選項。 |
| 綁定Agent | 否 | 通過代理連接的時候,是必選項。 MRS為非全托管服務,DataArts Studio無法直接與非全托管服務進行連接。CDM集群提供了DataArts Studio與非全托管服務通信的代理,所以創建MRS的數據連接時,請選擇一個CDM集群。如果沒有可用的CDM集群,請先通過數據集成增量包進行創建。 CDM集群作為網絡代理,必須和MRS集群網絡互通才可以成功創建MRS連接,為確保兩者網絡互通,CDM集群必須和MRS集群處于相同的區域、可用區、VPC和子網,安全組規則需允許兩者網絡互通。 |
- 單擊“測試”,測試數據連接的連通性。如果無法連通,數據連接將無法創建。
- 測試通過后,單擊“確定”,創建數據連接。
參考
- 在創建數據連接的界面上MRS Hive集群不顯示?
出現該問題的可能原因有:
- 創建MRS集群時未選擇Hive/HBase組件。
- 創建MRS數據連接時所選擇的CDM集群和MRS集群網絡不互通。CDM集群作為網絡代理,與MRS集群需網絡互通才可以成功創建基于MRS的數據連接。
- 為什么Hive數據連接突然無法獲取數據庫或表的信息?
可能是由于CDM集群被關閉或者并發沖突導致,您可以通過切換agent代理來臨時規避此問題。