操作前提
- 如果您尚未購買天翼云云主機,推薦您使用更簡單快捷的活動頁一鍵部署方案。
- 如果您已購買的云主機位于【重慶-重慶2、寧夏-中衛5】資源池(其余資源池鏡像正在加載中),且滿足以下條件,請參考本文部署大模型學習機。
- 配置:內存32G, 顯存16G以上
- 已開通公網IP
- 云主機未到期
操作步驟
重裝操作系統
- 登錄云主機控制臺,前往您已購買的云主機所在的資源池。確認云主機狀態為“已關機”,則可以進行重裝操作系統操作。
點擊“更多”按鈕,點擊下拉菜單中“一鍵重裝”按鈕。
- 在重裝操作系統彈窗中,鏡像類型選擇“公共鏡像”,并在重裝選擇下拉菜單中選擇“ubuntu-LLaMA2-StableDiffusion-WebUI-GPU(預裝大模型環境)(60GB)”或ubuntu-LLaMA3-StableDiffusion-WebUI-GPU(預裝大模型環境)(60GB)。
設置并確認密碼,點擊“確定”按鈕,完成重裝操作系統操作。
- 返回云主機控制臺,選中已完成重裝操作系統的云主機,點擊“開機”按鈕。確認云主機狀態為“運行中”,則可以進行后續操作。
添加安全組規則
(1)點擊云主機名稱進入云主機詳情頁。
(2)選擇云主機詳情頁下方的安全組頁簽。
(3)點擊默認安全組展開詳情按鈕。
(4)點擊“添加規則”,在端口范圍處填寫7860,點擊確定。
(5)再次點擊“添加規則”,在端口范圍處填寫7861,點擊確定。
登錄大模型
登錄前準備:選擇云主機詳情的“彈性IP”頁簽,復制列表中的彈性IP。
(1)登錄文本對話大模型(LLaMA2/LLaMA3)
將剛剛復制到的彈性IP替換到//彈性IP:7861/ 中并在瀏覽器中輸入跳轉至登錄頁面。
您可以任選以下兩個賬號其一進行登錄:
注意建議您登錄后盡快修改密碼,修改密碼方法在文檔“修改大模型學習機登錄密碼”可查看。
賬號一:
username:user
password:$I$CFLvkJ69I
賬戶二:
username:user2
password:C7O0hgW5fxkN
(2)登錄AI圖片生成大模型(StableDiffusion)
將剛剛復制到的彈性IP替換到//彈性IP:7860/ 中并在瀏覽器中輸入跳轉至于登錄頁面。
您可以任選以下兩個賬號其一進行登錄:
注意建議您登錄后盡快修改密碼,修改密碼方法在文檔“修改大模型學習機登錄密碼”可查看。
賬戶一:
username:user
password:$I$CFLvkJ69I
賬戶二:
username:user2
password:C7O0hgW5fxkN
使用大模型進行推理計算
(1)文本對話大模型(LLaMA2/LLaMA3)
首先需要在Model標簽頁點擊LLaMA2/LLaMA3大模型,然后點擊Load按鈕進行加載。
稍等一會,提示“Successfully loaded”,即可點擊左上角的“chat”按鈕,體驗使用文本對話大模型(LLaMA2/LLaMA3)啦!
注意在加載時參數默認以fp16精度進行加載, Pi2和s7.2xlarge.4規格需要勾選load in 8 bit,否則會因顯存/內存不足而加載失敗。
使用文本多輪對話頁面:
文章生成頁面:
(2)AI圖片生成大模型(stable diffusion):
AI圖片生成大模型登錄后可以直接使用,以下為圖片生成頁面。