您可以通過本文的指導(dao),使用鏡像(xiang)部署大模型學(xue)習機。
購買云主機
登錄,選擇創建(jian)云主(zhu)機資源池,點擊“創建(jian)云主(zhu)機”按(an)鈕(niu)。
您可在以下資源(yuan)池(chi)進行不(bu)同規(gui)格(ge)的開通:
注意在加載Llama 2或者LLaMA3模型時,?Pi2和s7.2xlarge.4規格使用默認配置會因為顯存/內存不足加載失敗,?需要通過勾選load-in-8bit選項降低模型精度或關閉StableDiffusion服務后再加載Llama 2/LLaMA3模型.?參考文檔:大模型學習機服務啟停。
云服務器規格族 云服務器規格 支持大模型鏡像資源池 鏡像 GPU計算加速型 PI7 重慶-重慶2、寧夏-中衛5、遼寧-遼陽1 LLaMA2-StableDffusion-WebUI-GPU
LLaMA3-StableDffusion-WebUI-GPU
GPU計算加速(su)型 PI2 重慶-重慶2、上海(hai)-上海(hai)7 LLaMA2-StableDffusion-WebUI-GPU
LLaMA3-StableDffusion-WebUI-GPU
通用型 S7(64G以上規格) 西南1-az1/az2 LLaMA2-StableDffusion-WebUI-CPU
LLaMA3-StableDffusion-WebUI-CPU
基礎配置
根據您(nin)的需要選擇計(ji)費(fei)(fei)方(fang)式:包年(nian)/包月或(huo)按量付(fu)費(fei)(fei)。
規格分類處選擇“GPU加速(su)/AI加速(su)型”,在下方的規格列表(biao)的pi2和(he)pi7中選擇需要的規格。
選擇鏡像“ubuntu-LLaMA2-StableDiffusion-WebUI-GPU(預裝大模(mo)型環境(jing))(60GB)”或“ubuntu-LLaMA3-StableDiffusion-WebUI-GPU(預裝大模(mo)型環境(jing))(60GB),點擊“下(xia)一步:網絡配置”。
網絡配置
- 點擊“創建安全組”按鈕,跳轉至網絡控制臺-安全組頁面。
- 點擊“創建安全組”按鈕,在彈窗中等待模板下拉菜單選擇“開放全部端口”
- 點擊“確定”,完成安全組創建。
- 返回云主機訂購頁面,點擊“選擇安全組”按鈕,在安全組列表中勾選剛才創建的安全組。
- 點擊“確定”,完成安全組選擇。
- 彈性IP選擇“自動分配”,根據需要選擇帶寬大小。為確保大模型學習機順暢運行,如有其他數據下載需求, 建議10M以上, 否則建議5M及以下。
- 點擊“下一步:高級配置”。
- 根據提示完成高級配置,點擊“下一步:確認配置”。確認配置無誤后,點擊“立即購買”。
- 支付成功后返回云主機控制臺,選擇訂購云主機所在的地域。云主機狀態變更為“運行中”后即為開通成功,可以進行后續操作。
添加安全組規則
(1)點擊(ji)云主機(ji)名(ming)稱進(jin)入云主機(ji)詳情頁。
(2)選擇(ze)云主機詳情頁下方的安全組頁簽。
(3)點擊默(mo)認安(an)全組展(zhan)開詳情(qing)按(an)鈕(niu)。
(4)點擊(ji)“添加規則(ze)”,在(zai)端(duan)口范圍處填(tian)寫7860,點擊(ji)確定。
(5)再(zai)次點(dian)擊(ji)“添加規則”,在端(duan)口(kou)范圍(wei)處填寫(xie)7861,點(dian)擊(ji)確定。
登錄大模型
登錄前準備(bei):選擇云主機詳情的(de)“彈(dan)(dan)性(xing)IP”頁(ye)簽(qian),復制列表中的(de)彈(dan)(dan)性(xing)IP。
(1)登錄文(wen)本對話大模(mo)型(LLaMA2/LLaMA3)
將剛剛復制到的彈性IP替(ti)換(huan)到//彈性IP:7861/ 中并(bing)在(zai)瀏(liu)覽器中輸入(ru)跳轉至登錄頁面(mian)。
您可以(yi)任選以(yi)下兩個賬號其一進行登錄:
注意建議您登錄后盡快修改密碼,修改密碼方法在文檔“修改大模型學習機登錄密碼”可查看。
賬號一:
username:user
password:$I$CFLvkJ69I
賬戶二:
username:user2
password:C7O0hgW5fxkN
(2)登錄AI圖片生成大模型(StableDiffusion)
將剛(gang)剛(gang)復制到的彈(dan)性IP替換到//彈(dan)性IP:7860/ 中并在瀏(liu)覽器中輸入跳轉至(zhi)于登錄頁面。
您可以(yi)任選(xuan)以(yi)下兩個賬號(hao)其一進行(xing)登錄:
注意建議您登錄后盡快修改密碼,修改密碼方法在文檔“修改大模型學習機登錄密碼”可查看。
賬戶一:
username:user
password:$I$CFLvkJ69I
賬戶二:
username:user2
password:C7O0hgW5fxkN
使用大模型進行推理計算
(1)文(wen)本對話大模型(LLaMA2/LLaMA3)
首(shou)先(xian)需要在Model標簽頁點(dian)擊(ji)LLaMA2/LLaMA3大模型,然后(hou)點(dian)擊(ji)Load按鈕進(jin)行加載。
稍等一會,提示“Successfully loaded”,即可點擊(ji)左上角的“chat”按鈕,體驗使用文(wen)本對話(hua)大模型(LLaMA2/LLaMA3)啦!
注意?在加載Llama 2或者LLaMA3模型時,?Pi2和s7.2xlarge.4規格使用默認配置會因為顯存/內存不足加載失敗,?需要通過勾選load-in-8bit選項降低模型精度或關閉StableDiffusion服務后再加載Llama 2/LLaMA3模型.?參考文檔:大模型學習機服務啟停。
使(shi)用(yong)文本多輪對話頁面:
文章生成頁面:
(2)AI圖片(pian)生成(cheng)大模(mo)型(stable diffusion):
AI圖片生成(cheng)(cheng)大(da)模(mo)型登錄后(hou)可以直接使用(yong),以下為圖片生成(cheng)(cheng)頁面(mian)。