DLI增強型跨源連接為什么要創建對等連接
創建DLI增強型跨源連接時,創建對等連接的目的是打通網絡。以MRS為例,如果DLI和MRS集群在同一個VPC中,安全組且放通的情況下,可以不用配置對等連接。
增強型跨源連接綁定隊列失敗
問題現象
客戶創建增強型跨源連接后,在隊列管理測試網絡連通性,網絡不通,單擊對應的跨源連接查看詳情,發現綁定隊列失敗,報錯信息如下:
Failed to get subnet 86ddcf50-233a-449d-9811-cfef2f603213. Response code : 404, message : {"code":"VPC.0202","message":"Query resource by id 86ddcf50-233a-449d-9811-cfef2f603213 fail.the subnet could not be found."}
原因分析
DLI跨源連接需要使用VPC、子網、路由、對等連接、端口功能,因此需要獲得VPC(虛擬私有云)的VPC Administrator權限。
客戶未給VPC服務授權導致綁定隊列失敗。
處理步驟
在DLI控制臺,單擊“全局配置”>“服務授權”,選擇VPC服務,更新委托權限。
DLI增強型跨源連接DWS失敗
問題現象
客戶創建增強型跨源連接DLI和DWS,安全組已配置出方向規則到關聯隊列,使用的是密碼形式的跨源認證,報DLI.0999: PSQLException: The connection attempt failed。
原因分析
出現該問題可能原因如下:
- 安全組配置不正確
- 子網配置不正確
處理步驟
1.檢查客戶安全組是否放通,安全組放通規則如下所示。
-
入方向規則:檢查本安全組內的入方向網段及端口是否已開放,若沒有則添加。
-
出方向規則:檢查出方向規則網段及端口是否開放(建議所有網段開放)。
客戶安全組入方向和出方向配置的都是DLI隊列的子網。建議客戶將入方向源地址配成0.0.0.0/0,端口8000,表示任意地址都可以訪問DWS8000端口。
2.將入方向源地址配成0.0.0.0/0,端口8000,仍然無法連接,繼續排查子網配置。客戶的DWS子網關聯了網絡ACL。網絡ACL是一個子網級別的可選安全層,通過與子網關聯的出方向/入方向規則控制出入子網的數據流。關聯子網后,網絡ACL默認拒絕所有出入子網的流量,直至添加放通規則。通過檢查,發現其DWS所在子網關聯的ACL是空值。
因此,問題的原因是:客戶子網關聯了網絡ACL,但是沒有配置出入規則,造成IP地址不可訪問。
3.客戶配置子網出入規則后,測試成功。
創建跨源成功但測試網絡連通性失敗怎么辦?
問題描述
創建跨源并綁定新創建的DLI隊列,測試跨源的網絡連通性時失敗,有如下報錯信息:
failed to connect to specified address
排查思路
以下排查思路根據原因的出現概率進行排序,建議您從高頻率原因往低頻率原因排查,從而幫助您快速找到問題的原因。
如果解決完某個可能原因仍未解決問題,請繼續排查其他可能原因。
- 檢查是否在域名或者IP后添加了端口
- 檢查是否連接的是對端VPC和子網
- 檢查隊列的網段是否與數據源網段是否重合
- 檢查是否為DLI授權了VPC Administrator權限
- 檢查對端安全組是否放通隊列的網段
- 檢查增強型跨源連接對應的對等連接的路由信息
- 檢查VPC網絡是否設置了ACL規則限制了網絡訪問
檢查是否在域名或者IP后添加了端口
測試連通性時需要添加端口號。
例如,測試隊列與指定RDS實例連通性,本例RDS實例使用3306端口。
測試連通性如下所示。
檢查是否連接的是對端VPC和子網
創建增強型跨源連接時需要填寫對端的VPC和子網。
例如,測試隊列與指定RDS實例連通性,創建連接時需要填寫RDS的VPC和子網信息。
檢查隊列的網段是否與數據源網段是否重合
綁定跨源的DLI隊列網段和數據源網段不能重合。
您可以從連接日志判斷是否是隊列與數據源網段沖突。
即當前隊列A網段與其他隊列B網段沖突,且隊列B已經建立了與數據源C的增強型跨源連接。因此提示隊列A與數據源C的網段沖突,無法建立新的增強型跨源連接。
解決措施:修改隊列網段或重建隊列。
建議創建隊列時就規劃好網段劃分,否則沖突后只能修改隊列網段或重建隊列。
檢查是否為DLI授權了VPC Administrator權限
您可以從連接日志判斷是否是VPC Administrator權限不足導致的連接失敗。
如圖查看連接日志-2、圖查看連接日志-3所示,無法獲取對端的子網ID、路由ID,因此跨源連接失敗。
解決措施:請在服務授權添加VPC Administrator授權,取消IAM ReadOnlyAccess授權。
詳見下圖:查看連接日志-2

詳見下圖:查看連接日志-3

檢查對端安全組是否放通隊列的網段
創建完跨源連接后,連接的Kafka、DWS、RDS等實例還需要在實例的安全組下添加DLI網段的安全組規則。以對端連接RDS為例:
- 在DLI管理控制臺,單擊“資源管理 > 隊列管理”,選擇您所綁定的隊列,單擊隊列名稱旁的 按鈕,獲取隊列的網段信息。
- 在RDS控制臺“實例管理”頁面,單擊對應實例名稱,查看“連接信息”>“數據庫端口”,獲取RDS數據庫實例端口。
- 單擊“連接信息”>“安全組”對應的安全組名稱,跳轉到RDS實例安全組管理界面。單擊“入方向規則 > 添加規則”,優先級設置為“1”,協議選擇“TCP”,端口選擇RDS數據庫實例端口,源地址填寫DLI隊列的網段。單擊“確定”完成配置。
檢查增強型跨源連接對應的對等連接的路由信息
檢查增強型跨源連接對應的對等連接的路由表,該路由表的本端路由地址網段是否和別的網段有重合,如果重合,路由可能轉發錯誤。
- 獲取增強型跨源連接創建的對等連接ID。
- 在VPC-對等連接控制臺查看對等連接信息。
- 查看隊列對應的VPC的路由表信息。
檢查VPC網絡是否設置了ACL規則限制了網絡訪問
網絡ACL對子網進行防護,檢查對應子網是否配置了ACL,是否設置了ACL規則限制了網絡訪問。
例如當您設置了安全組放通隊列的網段,同時設置的網絡ACL規則包含拒絕該地址訪問,那么此安全組規則不生效。
怎樣配置DLI隊列與數據源的網絡連通?
配置DLI隊列與內網數據源的網絡聯通
DLI在創建運行作業需要連接外部其他數據源,如:DLI連接MRS、RDS、CSS、Kafka、DWS時,需要打通DLI和外部數據源之間的網絡。
DLI提供的增強型跨源連接功能,底層采用對等連接的方式打通與目的數據源的vpc網絡,通過點對點的方式實現數據互通。
詳見下圖:增強型跨源連接配置流程

配置DLI隊列與公網網絡聯通
通過配置SNAT規則,添加到公網的路由信息,可以實現隊列到和公網的網絡打通。
詳見下圖:配置DLI隊列訪問公網流程

DLI創建跨源連接,進行綁定隊列一直在創建中怎么辦?
跨源連接創建慢,有以下幾種可能:
- 購買DLI隊列后,第一次進行綁定隊列。通常需要等待510分鐘,待后臺拉起集群后,即可創建成功。
- 若剛剛對隊列進行網段修改,立即進行綁定隊列。通常需要等待510分鐘,待后臺重建集群后,即可創建成功。
如何打通DLI和數據源的網絡?
DLI 增強型跨源連接底層采用對等連接,直接打通DLI集群與目的數據源的VPC網絡,通過點對點的方式實現數據互通。