步驟一：創建GPU云主機
1. 進入創建云主機頁面
a.點擊天翼云門戶首頁的“控制中心”，輸入登錄的用戶名和密碼，進入控制中心頁面。
b.單擊“服務列表>彈性云主機”，進入主機列表頁。
c.單擊“創建云主機”，進入彈性云主機創建頁。
2. 進行基礎配置
a.基礎配置
根據業務需求配置“計費模式”、“地域”、“企業項目”、“虛擬私有云”、“實例名稱”、“主機名稱”等。
b.選擇規格。
此處選擇"CPU架構"為"X86"、"分類"為"GPU加速/AI加速型"、"規格族"為"GPU計算加速型pn8r"、"規格"為"pn8r.16xlarge.4"。
c.選擇鏡像
“鏡像類型”選擇“鏡像市場”，在云鏡像市場中選擇預置了DeepSeek R1模型的DeepSeek-R1-32B-vLLM-Ubuntu22.04鏡像。
d.設置云硬盤。
3. 網絡及高級配置
設置網絡，包括"網卡"、"安全組"，這里，為安全和成本考慮，我們先不設置彈性IP，后續按需開放IP；設置高級配置，包括"登錄方式"、"云主機組"、"用戶數據"。
4. 確認并支付
步驟二：配置彈性負載均衡
現在，我們已經有了兩臺 Deepseek-R1-32B 服務器，接下來，我們利用彈性負載均衡構建一個可任意橫向擴容的 Deepseek 集群。
1. 配置 vllm 服務
首先需要為所有服務器上的 vllm 服務配置相同的 --api-key。
服務的配置文件目錄在 /var/vllm_service.env 我們將API_KEY 設置為想要的值。
然后重啟服務。
systemctl restart vllm
2. 創建彈性負載均衡
我們參考彈性負載均衡官方文檔進行服務創建。
a. 創建彈性負載均衡
在此例中，我們的Deepseek集群僅用于集群自帶的 Open WebUI內網使用，不涉及外網通訊，因此 “網絡類型” 選擇 “內網”，如果你想將此集群暴露到外網，則選擇外網。VPC和子網跟 Deepseek 服務器保持一致。
b. 創建監聽器
完成網絡負載均衡創建，接下來配置監聽器，在負載均衡列表頁，點擊開始配置。
端口類型，選擇 “HTTP”，端口填 8000。
進入下一步，創建健康檢查。這里我們通過 HTTP 進行健康檢查，返回碼部分選擇 2xx、3xx、4xx。
點擊“立即創建”，完成創建。
c. 為監聽器開通GPU云主機白名單
此時監聽器列表中，我們可以看到訪問Deepseek服務器的主機組地址為 “100.89.0.0/16”，我們需要在Deepseek集群的安全組中，為vllm端口配置此地址的白名單。
為Deepseek云主機所在的安全組新增規則，操作文檔詳見添加安全組規則幫助文檔。
d. 為監聽器添加后端云主機
選中主機，然后下一步。
設置端口為 “8000”。
點擊確認即可完成配置。
e. 驗證連通性
監聽器頁面，顯示監控檢查正常。
通過一臺 Deepseek 服務器，測試負載均衡連通性。
步驟三：配置 UI 訪問能力
為便于公網訪問，我們選擇一臺DeepSeek服務器，利用DeepSeek服務器自帶的Open WebUI進行交互。Open WebUI使用文檔見Open WebUI 快速入門。
注意openai API地址為前面彈性負載均衡的地址，在本例中為 “//10.0.0.8:8000/v1”，密鑰為我們剛剛設置的 vllm 的 --api-key。
