什么是DeepSeek
DeepSeek 是一個基于 Transformer 架構的大型語言模型（LLM），由深度求索（DeepSeek）公司開發。它能夠處理自然語言理解、生成、翻譯、問答等多種任務。在目前大模型主流榜單中，DeepSeek-V3 在開源模型中位列榜首，與世界上最先進的閉源模型不分伯仲。在對話模型典型任務方面的評測效果如下：
當前 DeepSeek 模型有多個版本，參數量從 1.5B、 70B到671B不等，適用于不同的應用場景和計算資源。參數量越多，資源消耗越多，使用者可以根據自己實際需求選擇不同模型版本。
注意為維護良好的網絡環境和公共秩序，天翼云平臺特規定如下使用條款：禁止任何用戶或機構利用平臺進行違法活動、傳播不良信息或違反社會公序良俗的行為。若發生此類行為，天翼云將依法采取必要措施，停止相關服務功能，并依法追究責任。
模型由DeepSeek公司提供。模型的結果僅供參考，并可能因不同的環境、數據或操作條件而有所不同，我們不對模型的任何結果負責。
快速體驗DeepSeek
vLLM 是一個專為本地運行大語言模型（LLMs）而設計的工具，并提供了簡單易用的命令行接口。這里，我們以Deepseek-R1-32B模型為例，講解如何在天翼云使用vLLM運行 DeepSeek模型，讀者可以根據自己實際需求修改云主機模型和云主機配置。
步驟一：創建GPU云主機
1. 進入創建云主機頁面
點擊天翼云門戶首頁的“控制中心”，輸入登錄的用戶名和密碼，進入控制中心頁面。
單擊“服務列表>彈性云主機”，進入主機列表頁。
單擊“創建云主機”，進入彈性云主機創建頁。
2. 進行基礎配置
基礎配置：根據業務需求配置“計費模式”、“地域”、“企業項目”、“虛擬私有云”、“實例名稱”、“主機名稱”等。
選擇規格：此處選擇"CPU架構"為"X86"、"分類"為"GPU加速/AI加速型"、"規格族"為"GPU計算加速型pn8r"、"規格"為"pn8r.16xlarge.4"。
選擇鏡像：“鏡像類型”選擇“鏡像市場”，在云鏡像市場中選擇預置了DeepSeek R1模型的DeepSeek-R1-32B-vLLM-Ubuntu22.04鏡像。
設置系統盤：
3. 網絡及高級配置。
設置網絡，包括"網卡"、"安全組"，同時配備 "彈性IP" 用于訪問模型；設置高級配置，包括"登錄方式"、"云主機組"、"用戶數據"。
4. 確認并支付
步驟二：使用DeepSeek模型
通過云主機提供的Open WebUI直接體驗大模型，具體請參考Open WebUI快速入門。
注意鏡像自帶的ollama工具監聽127.0.0.1:11434 、webui 監聽 0.0.0.0:3000 端口，云主機默認不對外開放任何端口訪問，請按需開放端口訪問規則，避免數據泄露。
自定義部署DeepSeek
步驟一：規格選型
不同版本的模型參數量不同，參數量越多，資源消耗越多。不同規模的企業、客戶有不同訴求，客戶可根據自己的實際需求，選擇所需鏡像和模型版本。參數較少的DeepSeek模型可以在CPU上正常運行、如1.5B、7B模型，更大的模型需要GPU才能獲得良好的體驗。天翼云提供了不同模型的硬件配置建議，如下：
模型 推薦規格 通用云主機 T4 V100 V100S A10 A100 DeepSeek-R1-1.5B c7.2xlarge.2 pi2.2xlarge.4 p2v.2xlarge.4 p2vs.2xlarge.4 pi7.4xlarge.4 p8a.6xlarge.4 DeepSeek-R1-7B c7.4xlarge.2 pi2.4xlarge.4 p2v.2xlarge.4 p2vs.2xlarge.4 pi7.4xlarge.4 p8a.6xlarge.4 DeepSeek-R1-8B - pi2.4xlarge.4 p2v.2xlarge.4 p2vs.2xlarge.4 pi7.4xlarge.4 p8a.6xlarge.4 DeepSeek-R1-14B - pi2.8xlarge.4 p2v.4xlarge.4 p2vs.4xlarge.4 pi7.8xlarge.4 p8a.12xlarge.4 DeepSeek-R1-32B - - p2v.8xlarge.4 p2vs.8xlarge.4 pi7.16xlarge.4 p8a.24xlarge.4 DeepSeek-R1-70B - - - - - p8a.24xlarge.4
對應的GPU云主機規格請參見NVIDIA GPU云主機-GPU云主機-產品簡介-產品規格 - 天翼云。
步驟二：云主機開通
創建配備GPU驅動的GPU云主機（Linux）-GPU云主機-用戶指南-創建GPU云主機 - 天翼云
步驟三：手動部署DeepSeek
建議使用天翼云提供的DeepSeek鏡像，減少安裝過程中可能遇到的問題。如您必須通過vLLM部署模型，請參考如下步驟：
1.安裝依賴包
# 安裝pip
curl //bootstrap.pypa.io/get-pip.py -o get-pip.py
python get-pip.py
# 修改pip鏡像源，以清華源為例
pip config set global.index-url //pypi.tuna.tsinghua.edu.cn/simple
# 安裝依賴包
pip install modelscope==1.22.3
pip install openai==1.61.0
pip install tqdm==4.67.1
pip install transformers==4.48.2
pip install vllm==0.7.1
pip install jinja2==3.1.0
2.下載模型
為了方便，我們以較小的DeepSeek-R1-Distill-Qwen-1.5B為例（3.5G左右），將以下內容保存為 model_download.py 文件，參數 cache_dir 為模型的下載路徑，您可以按需修改，需確保存儲空間足夠存放模型。
from modelscope import snapshot_download
model_dir = snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B', cache_dir='/root/model-path', revision='master')
運行該文件，啟動模型下載。
python model_download.py
3.運行模型
完成下載后，即可使用 vLLM 運行模型。
vllm serve /root/model-path/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --served-model-name DeepSeek-R1-Distill-Qwen-1.5B --max-model-len=2048 --api-key my-token --port=8000
注意其中 --api-key 參數用于模型 api 調用時認證動作，可按需修改值。
4.使用WebUI訪問模型
基于我們已經安裝、配置好的 OpenWebUI頁面，可以直接訪問模型。
管理員設置中，配置OpenAI API訪問地址，密鑰就是上文中的 --api-key。
選擇對應的模型，直接進行問答體驗。
FAQ
如何修改 vLLM 的api-key？
服務的配置文件目錄在 /var/vllm_service.env 我們將API_KEY 設置為想要的值。
然后重啟服務。
systemctl restart vllm
如何調整模型支持的最大上下文數量？
當前vLLM服務使用systemd部署，需修改service啟動命令以實現上下文等服務參數調整。配置文件位于 /etc/systemd/system/vllm.service，我們編輯該文件的 --max-model-len 參數，然后重啟服務即可實現參數調整
重新啟動服務
systemctl daemon-reload
systemctl restart vllm
