新建DWS連接
更新時間 2023-07-03 18:03:40
最近更新時間: 2023-07-03 18:03:40
分享文章
本章節主要介紹新建DWS連接。
本章節以新建DWS連接為例,介紹如何建立DataArts Studio與數據倉庫底座之間的數據連接。
前提條件
- 在創建數據連接前,請確保您已創建所要連接的數據湖(如DataArts Studio所支持的數據庫、云服務等)。
- 在創建DWS類型的數據連接前,您需要先在DWS服務中創建集群,并且具有KMS密鑰的查看權限。
- 在創建MRS HBase、MRS Hive、MRS Kafka、MRS Ranger、MRS Spark、MRS Presto類型的數據連接前,需確保您已創建MRS集群,并且在創建數據鏈接時已創建選擇所需要的組件。
- 在創建RDS類型的數據連接前,請確保您已創建RDS數據庫實例。DataArts Studio平臺目前僅支持RDS中的MySQL和PostgreSQL數據庫引擎。
- 在創建數據連接前,請確保待連接的數據湖與DataArts Studio實例之間網絡互通。
- 如果數據湖為云下的數據庫,則需要通過公網或者專線打通網絡,確保數據源所在的主機可以訪問公網,并且防火墻規則已開放連接端口。
- 如果數據湖為云上服務(如DWS、MRS等),則網絡互通需滿足如下條件:
①DataArts Studio實例(指DataArts Studio實例中的CDM集群)與云上服務處于不同區域的情況下,需要通過公網或者專線打通網絡。
②DataArts Studio實例(指DataArts Studio實例中的CDM集群)與云上服務同區域情況下,同虛擬私有云、同子網、同安全組的不同實例默認網絡互通;如果同虛擬私有云但是子網或安全組不同,還需配置路由規則及安全組規則,配置路由規則請參見《虛擬私有云》幫助文檔中的“添加路由信息”章節,配置安全組規則請參見《虛擬私有云》幫助文檔中的“安全組 > 添加安全組規則”章節。
③此外,您還必須確保該云服務的實例與DataArts Studio工作空間所屬的企業項目必須相同,如果不同,您需要修改工作空間的企業項目。
創建數據連接
- 在DataArts Studio控制臺首頁,選擇對應工作空間的“管理中心”模塊,進入管理中心頁面。
詳見下圖:選擇管理中心。

- 在管理中心頁面,單擊“數據連接”,進入數據連接頁面。
詳見下圖:創建數據連接

- 單擊“創建數據連接”,在彈出的對話框中,選擇“數據連接類型”為“數據倉庫服務(DWS)”,詳見下方創建數據連接及DWS連接配置參數,并參見表DWS數據連接配置相關參數。
創建數據連接

DWS連接配置參數

DWS數據連接
| 參數 | 是否必選 | 說明 |
|---|---|---|
| 數據連接名稱 | 是 | 數據連接的名稱,只能包含英文字母、數字、下劃線和中劃線,且長度為1~50個字符。 |
| 標簽 | 否 | 標識數據連接的屬性。設置標簽后,便于統一管理。 說明 標簽的名稱,只能包含中文、英文字母、數字和下劃線,不能以下劃線開頭。且長度不能超過100個字符。 |
| 手動 | 是 | 通過單擊或來關閉或開啟手動開關: 當“手動”關閉時候,“IP”和“端口”不需要填寫。 當“手動”打開時候,“IP”和“端口”需要填寫。 |
| IP | 否 | “手動”打開時需要填寫該項,表示通過內部網絡訪問集群數據庫的IP地址。內網訪問IP地址在創建集群時自動生成。 |
| 端口 | 否 | “手動”打開時需要填寫該項,表示創建DWS集群時指定的數據庫端口號。請確保您已在安全組規則中開放此端口,以便DataArts Studio實例可以通過該端口連接DWS集群數據庫。 |
| SSL連接 | 是 | DWS支持SSL通道加密和證書認證兩種方式進行客戶端與服務器端的通信。您可以通過服務器端是否強制使用SSL連接進行設置。開關打開,即只能通過SSL方式連接。開關關閉,即兩種方式均可。默認關閉。 |
| 集群名 | 是 | 選擇DWS集群。 |
| 用戶名 | 是 | 數據庫的用戶名,創建DWS集群時指定的用戶名。 |
| 密碼 | 是 | 數據庫的訪問密碼,創建DWS集群時指定的密碼。 |
| KMS密鑰 | 是 | KMS密鑰名稱。 |
| 連接方式 | 是 | 選擇所需的連接方式,推薦使用“通過代理連接”。 通過代理連接:通過Agent(即CDM集群)進行代理連接訪問DWS集群。 直接連接:直接訪問DWS集群。 |
| 綁定Agent | 否 | 通過代理連接的時候,是必選項。 DWS為非全托管服務,DataArts Studio無法直接與非全托管服務進行連接。CDM集群提供了DataArts Studio與非全托管服務通信的代理,所以創建DWS的數據連接時,請選擇一個CDM集群。如果沒有可用的CDM集群,請先通過數據集成增量包進行創建。 CDM集群作為網絡代理,必須和DWS集群網絡互通才可以成功創建MRS連接,為確保兩者網絡互通,CDM集群必須和DWS集群處于相同的區域、可用區、VPC和子網,安全組規則需允許兩者網絡互通。 |
- 單擊“測試”,測試數據連接的連通性。如果無法連通,數據連接將無法創建。
- 測試通過后,單擊“確定”,創建數據連接。
參考
- 創建DWS數據連接,開啟SSL連接時測試連接失敗?
可能是由于DWS集群的三權分立功能導致的。請在DWS控制臺,點擊進入對應的DWS集群后,選擇“安全設置”,然后關閉三權分立功能。
詳見下圖:關閉DWS集群三權分立功能

- 為什么DWS數據連接突然無法獲取數據庫或表的信息?
可能是由于CDM集群被關閉或者并發沖突導致,您可以通過切換agent代理來臨時規避此問題。