對比傳統部署模式,GPU云主機配合彈性伸縮使用,可以幫助您在推理任務高峰期自動擴容GPU節點減少卡頓,在任務請求低峰期減少GPU服務器規模節約成本,保障業務連續性的同時降低資源、運維成本。
操作步驟
1.使用大模型鏡像創建包年包月的云主機實例
創建一定數量的包年包月GPU實例,用于后續將實例添加到伸縮組,滿足大模型業務模塊的非高峰或低谷時間段要求。
a. 登錄控制中心。
b. 根據業務部署需求選擇彈性伸縮組及其管理的云主機實例所在地域。
c. 單擊“計算>彈性云主機”,進入彈性云主機管理控制臺。
d. 在右上角點擊“創建云主機”按鈕,進入到彈性云主機創建頁面。
e. 在彈性云主機創建頁面,完成云主機參數配置。創建成功之后如圖:
說明搭建DeepSeek等大模型云主機選型、部署等說明可參考GPU云主機/彈性云主機:零基礎搭建DeepSeek云端環境指南-彈性云主機-DeepSeek專題-實踐指南:DeepSeek驅動高效能云生態 - 天翼云。
2.創建使用大模型鏡像的伸縮配置
為業務創建可用于自動擴容的云主機模板,即彈性伸縮配置。
a. 登錄控制中心,選擇彈性伸縮組所在地域(與前一步驟中創建的GPU云主機需保持一致)。
b. 單擊“計算>彈性伸縮服務”,進入彈性伸縮管理控制臺并切換到伸縮配置頁面。
c. 點擊右上角“創建伸縮配置”,進入“創建伸縮”配置頁面。使用步驟1中創建的實例作為模板創建伸縮配置。
d. 點擊“確認”,即可創建伸縮配置成功,創建成功如圖所示:
3.創建伸縮組并添加云主機實例
為低成本、高穩定性業務集群創建彈性伸縮組,并將創建好的云主機實例添加至此伸縮組內,來滿足日常業務的需求。
a. 登錄控制中心,選擇彈性伸縮組所在地域(與前一步驟中創建的GPU云主機需保持一致)。
b. 單擊“計算>彈性伸縮服務”,進入彈性伸縮管理控制臺。
c. 在“彈性伸縮組”頁簽中,點擊右上角“創建彈性伸縮組”,進入“創建彈性伸縮組>伸縮參數”配置頁面。
d. 在“伸縮參數”頁面完成基礎配置,具體參數配置可參見創建伸縮組。
e. 在“配置來源”頁面,選擇已有配置,為伸縮組綁定一個或多個配置。
f. 點擊“立即創建”伸縮組創建成功,如下圖:
g. 伸縮組創建成功之后,進入到伸縮組詳情頁面,將步驟1中創建包年包月彈性云主機添加至伸縮組內并開啟伸縮保護防止實例被移除,用于日常業務需求的滿足。具體操作步驟請參見將實例移入伸縮組。添加成功之后如圖:
4.根據業務場景為伸縮組設置自動伸縮策略
為已創建好的伸縮組設置伸縮策略,來滿足突發的業務流量變化,確保業務的穩定運行。
a. 進入彈性伸縮管理控制臺,點擊步驟3創建好的伸縮組名稱,進入到伸縮組詳情頁面。
b. 單擊“伸縮策略”進入伸縮策略頁簽,單擊“創建策略”按鈕,進入到“創建伸縮策略”頁面。
c. 在“創建伸縮策略”頁面中完成策略的配置。您可以根據使用場景選擇告警、定時等自動伸縮策略,幫助伸縮組在業務高峰期自動擴容大模型實例、在業務低谷期自動釋放實例,保證業務穩定的同時最大程度的優化資源使用成本。具體操作步驟可參見創建伸縮策略。