全局網絡架構
集群聯邦控制面和成員集群間存在互聯互通網絡,以支撐聯邦控制面與成員集群間的數據交互需求。聯邦控制面整體組網,分為兩個步驟來進行:
三方集群接入云上注冊集群:可選專線內網或公網方式接入,接入后三方集群均以HUB網關為代理向云上暴露訪問接口;
接入集群注冊到具體聯邦實例:注冊集群和聯邦實例間存在可能同資源池或跨資源池情況,不同情況下可選組網方式不一樣,部分情況下也需要依賴用戶介入來打通網絡。
三方集群接入到注冊集群HUB網關
第一步:三方集群到云上接入網絡規劃
首先,需要規劃天翼云上的資源池、VPC及子網信息,建議資源池與用戶三方集群真實地域盡量就近或相同,以實現就近互聯以及確保相關調度器識別的地理位置信息準確;云上VPC、子網可選擇新建也可選擇已有,只要確保不影響業務且有足夠的VPC下資源配額即可;
如果選擇新建VPC或子網,需要在這一步將相關資源準備好;
其次,用戶集群與天翼云上VPC網絡打通方式主要有公網和專線內網兩種方式,具體選擇哪個與用戶場景對質量、成本的要求有關:
| 網絡模式 | 優點 | 缺點 | 建議場景 |
|---|---|---|---|
| 公網 | 方便快捷、成本低廉。 | 穩定性及安全性差,不適合對網絡質量及帶寬高要求的場景,例如:云上云下一體化組網等混合云場景。 | 建議只功能驗證場景使用,不建議應用于生產環境。 |
| 專線內網 | 基于天翼云專業的云間網絡產品,將用戶云下集群網絡與云上VPC網絡內網打通。 具備高安全性、高帶寬低延時、高穩定性等特點。 | 成本相對公網略高,建設周期相對公網方式略長。 | 建議用戶生產環境,或對云上云下網絡穩定性、安全性等有較高要求的場景使用。 |
規劃好云上資源池、VPC、子網及云上云下網絡互通方式后,即可繼續下一步;
第二步:創建云上注冊集群,根據具體場景選擇本地集群或三方云集群
進入天翼云【分布式容器云平臺】產品頁面,頂部切換到規劃好的資源池,然后選擇【集群資源】->【注冊集群】,根據實際場景選擇注冊本地集群或注冊三方云集群;
在集群訂購頁,選擇步驟一中規劃好的VPC、子網;若規劃為公網方式接入注冊集群,則還需啟用【使用EIP暴露APIServer】,若規劃為內網方式則無需啟用;其他配置項按需設置即可;
最終根據指引,提交注冊集群訂購,并在【集群資源】->【集群管理】頁面確認訂購的注冊集群已處于【待接入】狀態;
第三步:打通用戶集群到云上注冊集群的網絡連接
根據第一步規劃的云上云下網絡打通方式,參考下面指引進行實際網絡打通:
| 網絡模式 | 打通方式 |
|---|---|
| 公網 | 該方式要求用戶集群具備主動訪問公網的能力。 若用戶集群為三方云集群,可參考三方云VPC下啟用NAT主動訪問公網配置指引進行操作;若用戶集群為本地集群,則需按照本地實際網絡情況進行配置,或聯系您的網絡管理員進行協助。 |
| 專線內網 | 天翼云提供了專業的云產品能力,來支持用戶將云下IDC網絡或三方云網絡與天翼云上VPC網絡內網打通。建議可選產品有:
具體產品配置指引,請登錄天翼云官網對應產品頁查看。 |
在配置完網絡互通策略后,用戶可通過ping或telnet 注冊集群網關地址,來驗證實例的具體聯通情況;
第四步:在用戶集群中部署Agent,反向連接接入到云上
進入【集群資源】->【集群管理】,在對應注冊集群右側點擊【接入配置】按鈕,然后選擇【接入信息】標簽頁。
根據選擇的接入方式,下載對應網絡模式的接入部署配置文件,然后apply到用戶集群中。
待相關workload拉起后,可登錄【集群管理】控制臺,確認注冊集群狀態是否已變更為【運行中】;集群狀態運行中代表注冊集群已接入成功;
注冊集群到聯邦控制面網絡
第一步:規劃集群聯邦實例部署網絡環境
首先,需要清楚需要聯邦調度的成員集群(注冊集群)在天翼云上的資源池及VPC分布信息;
其次,規劃集群聯邦實例部署資源池、VPC及子網,其中聯邦實例資源池應盡量與成員注冊集群資源池相同,或和大部分成員集群資源池相同,這樣可以避免大量跨資源池網絡互通帶來的帶寬成本。同樣,若資源池和VPC均相同,可進一步降低網絡互通成本。
具體可按實際情況規劃,不同的規劃只影響聯邦和成員集群間的互通網絡成本,不影響相關功能的使用。
第二步:訂購集群聯邦,或加入已有集群聯邦,基于默認策略打通聯邦到注冊集群網絡
控制臺頂部切換到規劃的集群聯邦資源池,然后進入【容器艦隊】->【聯邦管理】頁面,點擊【創建聯邦】進入聯邦實例訂購頁面。
訂購頁中,VPC和子網選擇規劃好的數據,艦隊選擇包含相關注冊集群的艦隊實例,其他按需配置即可。
然后根據指引提交訂單,最終確保相關聯邦實例狀態處于【運行中】即可。
在聯邦實例關聯艦隊的同時,CCEOne后臺將主動嘗試將成員集群和聯邦控制面之間網絡打通并進行注冊。其不同場景下網絡打通默認策略如下:
| 成員集群與聯邦實例網絡模式 | 默認互聯策略 | 是否允許用戶修改 | 可選互聯策略 |
|---|---|---|---|
| 同資源池同VPC | VPC內網直接互聯 | 否 | |
| 同資源池跨VPC | VPCE:后臺將嘗試創建將成員集群APIServer地址,以內網VPCE IP方式暴露給聯邦實例所在網絡 | 否 | |
| 跨資源池 | 默認公網互聯 要求聯邦實例所在VPC具備主動訪問公網能力,同時成員集群APIServer有綁定EIP暴露公網,并放通了來自聯邦實例VPC的公網請求 | 是 | 云間高速內網 |
第三步:聯邦與成員集群間網絡連通性校驗與調整修復
進入聯邦單實例控制臺總覽頁面,最底部可切換列表或視圖方式展示成員集群信息,包括成員集群與聯邦實例網絡互聯方式及網絡互聯情況。
其中:
成員集群與聯邦同資源池場景:不可修改
會基于是否同VPC區分展示VPCE或VPC內網互聯,同時展示成員集群到聯邦的注冊情況。若注冊狀態異常,請檢查成員集群本身服務是否正常,以及安全組是否有放通相關來源流量。
成員集群與聯邦跨資源池場景:可修改
默認展示【公網】互聯方式,同時會展示成員集群到聯邦的注冊狀態;公網方式要求聯邦VPC有配置NAT啟用公網主動訪問能力,同時成員集群APIServer有綁定公網EIP,并配置放通來自聯邦的公網請求流量;若聯邦注冊狀態異常,請檢查集群狀態是否正常以及網絡配置是否符合要求。
若基于安全性或穩定性考慮,或聯邦與成員集群本身已內網打通,此時用戶可點擊修改聯通方式,可選【內網】。跨資源池內網互聯,需要用戶啟用云間高速產品能力,將跨資源池的兩個VPC內網打通。具體云間高速配置方式,請參考具體產品對應用戶指引文檔。
在用戶調整跨資源池網絡互聯方式后,后臺將周期性校驗環境配置是否正確,并嘗試再次將成員集群注冊到聯邦控制面中。稍等一會兒時間后,用戶可以在控制臺看到最新網絡互聯及注冊狀態信息。