本文先簡要介紹DeepSeek,隨后詳述如何快速體驗在NVIDIA GPU物理機中運行deepseek-r1-7b模型,最后介紹自定義部署DeepSeek模型的方法。
一、DeepSeek簡介
DeepSeek是由中國頂尖AI團隊深度求索(DeepSeek Inc.)自主研發的通用大語言模型體系。DeepSeek系列涵蓋從7B到超千億參數的完整模型矩陣,在數學推理、代碼生成、多輪對話等核心能力上達到國際領先水平。目前已衍生出deepseek-v2、deepseek-v3、deepseek-r1等多個版本,廣泛應用于智能客服、教育輔助、金融分析等垂直領域。
2025年1月20日發布的deepseek-r1,在數學、代碼、自然語言推理等任務上,性能比肩 OpenAI o1 正式版。
deepseek-r1模型參數量為671B,通過 deepseek-r1的輸出,蒸餾了 6 個參數量較小的模型(1.5B、7B、8B、14B、32B、70B),其中32B和70B模型在多項能力上實現了對標 OpenAI o1-mini 的效果。
二、物理機快速部署DeepSeek
DeepSeek鏡像集成了ollama服務、deepseek-r1模型、web可視化界面以及相關組件。用戶可通過DeepSeek鏡像創建GPU物理機快速部署DeepSeek。
??Ollama 是一個開源的大型語言模型(LLM)平臺,旨在讓用戶能夠輕松地在本地運行、管理和與大型語言模型進行交互。
2.1 創建GPU物理機
2.1.1 進入創建物理機頁面
a. 點擊天翼云門戶首頁的“控制中心”,輸入登錄的用戶名和密碼,進入控制中心頁面。
b. 單擊“產品服務列表 > 物理機服務”,進入主機列表頁。
c. 單擊“創建物理機”,進入物理機創建頁。
2.1.2 基礎配置
a. 根據業務需求配置“計費模式”、“地域”、“可用區”、“實例名稱”、“主機名稱”等。
b. 選擇規格。此處選擇"GPU型"、"規格名稱為"physical.h7ns.3xlarge21"。(推薦使用H800、A800、L40S資源類型的物理機規格)
c. 選擇鏡像:鏡像類型為“公共鏡像”,選擇Ubuntu類鏡像,鏡像名為“Ubuntu 22.04@deepseek-r1-7b 64位”。
d. 磁盤配置:設置本地磁盤Raid類型,系統盤設置為“RAID1”,數據盤設置為“NORAID”,本規格不支持添加云盤,創建其他規格的物理機時可根據需要添加云盤。
2.1.3 網絡配置及高級配置
a. 網絡配置,包括“虛擬私有云”、“網卡”,同時配備“彈性IP”用于下載和訪問模型。
b. 高級配置,默認用戶為root,設置root用戶密碼并確認密碼。
2.1.4 確認配置并支付
檢查上述配置,設置“購買數量”,“企業項目”,“確認《天翼云物理機服務協議》”。
2.2 使用DeepSeek模型
2.2.1 通過web界面進行模型交互
a. DeepSeek模型可視化界面訪問地址為://{公網ip地址}:3000。
“Ubuntu 22.04@deepseek-r1-7b 64位”鏡像的防火墻已放行3000端口訪問。
?注意:物理機全自動安裝deepseek-r1模型和可視化界面,請等待物理機啟動 5 分鐘后,再訪問登錄界面。
首次登錄頁面如下:
b. 注冊管理員賬號。
c. 使用設置。刷新進入首頁,在模型下拉列表中,選擇剛部署的deepseek-r1:7b 模型。
點擊左下角進入設置頁面,如果您不想開放其他用戶注冊使用,則需要關閉 “允許用戶注冊” 功能。
如果您允許用戶注冊,還可以設置用戶注冊之后的行為,例如選擇新用戶注冊后默認用戶角色為“用戶”/“待激活” 等,需要管理員手動激活。
d. 設置模型可見性。多用戶模式下,建議把模型設置為“Public”。
e. 體驗deepseek-r1:7b模型推理功能。
2.2.2 通過命令行交互
a. 利用ollama運行 deepseek-r1:7b模型,等待用戶輸入。
ollama run deepseek-r1:7b
b. 體驗deepseek-r1:7b模型推理功能。
三、自定義部署DeepSeek
本章詳細介紹針對deepseek-r1模型在天翼云物理機上的手動部署指南和一鍵部署指南。
天翼云鏡像站提供了ollama安裝包和deepseek-r1系列模型(包含1.5B、7B、14B、70B、671B 等相關模型),可加速部署過程。
天翼云鏡像站地址://mirrors.daliqc.cn
天翼云鏡像站ollama軟件源地址://mirrors.daliqc.cn/ollama
3.1 規格選型
不同參數量的模型的性能和資源消耗不同,企業客戶和個人客戶可根據需求在天翼云物理機上自定義部署指定參數量的deepseek-r1模型,選擇不同的物理機規格。
參數較少的deepseek-r1模型可以在CPU物理機上正常運行、如1.5b、7b模型。
更大的模型需要GPU才能獲得良好的體驗,推薦使用H800、A800、L40S資源類型的物理機規格。
3.2 使用已有DeepSeek鏡像創建物理機部署DeepSeek
使用Ubuntu-22.04@deepseek-r1-7b鏡像直接創建NVIDIA-GPU物理機,該鏡像已部署ollama和web可視化界面,deepseek-r1:7b模型。
3.2.1 創建物理機
選擇NVIDIA-GPU物理機規格(H800、A800、L40S資源類型的規格),選擇“Ubuntu 22.04@deepseek-r1-7b 64位”并完成物理機創建。可參考本文“2.1節 創建GPU物理機”。
3.2.2 登錄物理機并拉取自定義模型
a. 使用命令行拉取所需模型,以 deepseek-r1:70b為例。
采用ollama官方源部署deepseek-r1:70b(速度較慢):
ollama pull deepseek-r1:70b
采用天翼云鏡像站部署deepseek-r1:70b (推薦):
mkdir deepseek-r1-70b
cd deepseek-r1-70b
wget //mirrors.daliqc.cn/ollama/models/deepseek-r1-70b/deepseek-r1-70b.gguf
wget //mirrors.daliqc.cn/ollama/models/deepseek-r1-70b/ModelFile
ollama create deepseek-r1:70b -f ModelFile
b. 下載完成即可使用deepseek-r1:70b模型,可參考本文“2.2節 使用deepseek模型”。
3.3 使用非DeepSeek鏡像創建物理機并手動部署DeepSeek
本節介紹使用非DeepSeek鏡像創建CPU物理機或GPU物理機后,在物理機上手動部署ollama、deepseek-r1模型和open-webui可視化界面,并提供一鍵部署ollama和deepseek-r1模型的方法。
創建物理機-快速入門-物理機://www.daliqc.cn/document/10027724/10166147
3.3.1手動部署
本節詳細介紹手動部署DeepSeek模型的完整過程,包含下載并部署ollama、下載并部署指定DeepSeek模型。
天翼云鏡像站提供了ollama安裝包和deepseek-r1系列模型(包含1.5B、7B、14B、70B、671B 等相關模型),可加速部署過程。
3.3.1.1 下載并部署ollama
天翼云鏡像站ollama下載地址://mirrors.daliqc.cn/ollama
a. 運行以下命令下載并安裝 ollama
wget //mirrors.daliqc.cn/ollama/v0.5.7/ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
b. 啟動ollama 服務
# 若需要外部訪問ollama服務,需使用以下環境變量
export OLLAMA_ORIGINS=*
export OLLAMA_HOST=0.0.0.0
# 啟動ollama服務
ollama serve &
3.3.1.2 下載并部署deepseek-r1系列模型
deepseek-r1模型下載地址://mirrors.daliqc.cn/ollama/models, 包含1.5B、7B、8B、14B、32B、70B、671B 等相關模型。
| 天翼云鏡像站模型地址 | 對應ollama官方源deepseek-r1模型名稱 |
|---|---|
| deepseek-r1:1.5b | |
| deepseek-r1:7b | |
| deepseek-r1:8b | |
| deepseek-r1:14b | |
| deepseek-r1:32b | |
| deepseek-r1:70b | |
| deepseek-r1:671b |
本節以部署deepseek-r1:7b 為例,可作為部署deepseek-r1:1.5b、deepseek-r1:70b、deepseek-r1:671b等其他模型的參考。
采用ollama官方源部署deepseek-r1:7b(速度較慢):
ollama pull deepseek-r1:7b
采用天翼云鏡像站部署deepseek-r1:7b (推薦):
mkdir deepseek-r1-7b
cd deepseek-r1-7b
wget //mirrors.daliqc.cn/ollama/models/deepseek-r1-7b/deepseek-r1-7b.gguf
wget //mirrors.daliqc.cn/ollama/models/deepseek-r1-7b/ModelFile
ollama create deepseek-r1:7b -f ModelFile
部署完成,查看可用模型:
ollama list
3.3.1.3 運行模型
ollama run deepseek-r1:7b
輸入問題,體驗deepseek-r1:7b模型推理功能。
3.3.2 一鍵部署
天翼云鏡像站提供一鍵部署ollama和deepseek-r1模型腳本,客戶可根據需要部署不同參數量的deepseek-r1模型,當前僅支持linux環境的一鍵部署。
3.3.2.1 一鍵部署ollama和deepseek-r1系列模型
通過//mirrors.daliqc.cn/ollama/install.sh腳本一鍵部署ollama和指定模型,環境變量OLLAMA決定是否安裝ollama,MODELS指定部署模型:
MODELS: 默認是deepseek-r1:7b。模型支持deepseek-r1:1.5b、deepseek-r1:7b、deepseek-r1:8b、deepseek-r1:14b、deepseek-r1:32b、deepseek-r1:70b、deepseek-r1:671b。
OLLAMA: 默認是no,不安裝ollama。yes表示安裝ollama。
一鍵部署deepseek-r1:1.5b模型:
curl -fsSL //mirrors.daliqc.cn/ollama/install.sh |MODELS=deepseek-r1:1.5b OLLAMA=yes bash
一鍵部署deepseek-r1:7b模型:
curl -fsSL //mirrors.daliqc.cn/ollama/install.sh |MODELS=deepseek-r1:7b OLLAMA=yes bash
一鍵部署deepseek-r1:8b模型:
curl -fsSL //mirrors.daliqc.cn/ollama/install.sh |MODELS=deepseek-r1:8b OLLAMA=yes bash
一鍵部署deepseek-r1:14b模型:
curl -fsSL //mirrors.daliqc.cn/ollama/install.sh |MODELS=deepseek-r1:14b OLLAMA=yes bash
一鍵部署deepseek-r1:32b模型:
curl -fsSL //mirrors.daliqc.cn/ollama/install.sh |MODELS=deepseek-r1:32b OLLAMA=yes bash
一鍵部署deepseek-r1:70b模型:
curl -fsSL //mirrors.daliqc.cn/ollama/install.sh |MODELS=deepseek-r1:70b OLLAMA=yes bash
一鍵部署deepseek-r1:671b模型:
curl -fsSL //mirrors.daliqc.cn/ollama/install.sh |MODELS=deepseek-r1:671b OLLAMA=yes bash
3.3.2.2 僅部署deepseek-r1系列模型(ollama已部署)
適用場景:已部署過ollama的,想要部署其他deepseek-r1系列模型。
可設置OLLAMA=no,實現僅部署新的deepseek-r1模型,不重新安裝ollama,以deepseek-r1:32b為例,可執行:
curl -fsSL //mirrors.daliqc.cn/ollama/install.sh |MODELS=deepseek-r1:32b OLLAMA=no bash
3.3.2.3 運行模型
查看已部署模型,可執行:
ollama list
運行指定模型,可執行:
#運行deepseek-r1:1.5b模型
ollama run deepseek-r1:1.5b
#運行deepseek-r1:7b模型
ollama run deepseek-r1:7b
#運行deepseek-r1:8b模型
ollama run deepseek-r1:8b
#運行deepseek-r1:14b模型
ollama run deepseek-r1:14b
#運行deepseek-r1:32b模型
ollama run deepseek-r1:32b
#運行deepseek-r1:70b模型
ollama run deepseek-r1:70b
#運行deepseek-r1:671b模型
ollama run deepseek-r1:671b
3.3.3 安裝web可視化界面
a. 安裝open-webui
docker pull ghcr.io/open-webui/open-webui:main
b. 啟動容器
docker run -d --net=host -e PORT=3000 -e OLLAMA_BASE_URL=//127.0.0.1:11434 -e
ENABLE_SIGNUP=true -e ENABLE_OPENAI_API=False -v open-webui:/app/backend/data --name
open-webui --restart always ghcr.io/open-webui/open-webui:main
后續使用請參考本文“2.2.1節 通過web界面進行模型交互”。
四、 服務安全配置
為確保模型服務的安全性,建議遵循以下安全配置原則:
a. 關閉不必要的端口
Ollama默認使用11434端口提供API服務,ollama服務默認僅支持本地網絡訪問:
# 啟動ollama服務
ollama serve &
如需外部訪問ollama服務,可執行:
# 若需要外部訪問ollama服務,需使用以下環境變量
export OLLAMA_ORIGINS=*
export OLLAMA_HOST=0.0.0.0
# 啟動ollama服務
ollama serve &
b. 設置訪問控制
通過配置安全組或ufw/iptables設置IP白名單,對于必須開放的端口(如open-webui的3000端口),通過防火墻規則限制訪問來源IP:
# ufw 限制3000端口訪問來源ip
sudo ufw allow from <IP地址> to any port 3000
sudo ufw deny 3000/tcp # 禁用其他ip訪問3000端口
sudo ufw reload
# iptables 限制3000端口訪問來源ip
sudo iptables -A INPUT -p tcp --dport 3000 -s <IP地址> -j ACCEPT
sudo iptables -A INPUT -p tcp --dport 3000 -j DROP # 禁用其他ip訪問3000端口
如需禁用所有公網ip訪問open-webui的3000端口,可配置安全組或使用ufw或iptables關閉非必要端口:
# ufw 關閉3000端口
sudo ufw deny 3000/tcp
sudo ufw reload
# iptables 關閉3000端口
sudo iptables -A INPUT -p tcp --dport 3000 -j DROP
c. 身份驗證與權限管理
在open-webui中關閉允許用戶注冊功能(參考“2.2.1節 通過web界面進行模型交互”),并定期審計用戶列表。