前言
隨著 DeepSeek 新春爆火,帶動又一輪大模型熱潮;用戶訪問量突增導致 DeepSeek 服務器繁忙,卡頓或無響應導致用戶體驗不佳;如何順暢的體驗使用這些大模型服務成為一個挑戰。
本文介紹如何使用天翼云函數計算服務快速部署 DeepSeek-R1 大模型,構建個人私有的 AI 大模型應用;通過 OpenWebUI 頁面與 Ollama 運行的本地大模型交互,體驗到極致流暢的 DeepSeek 能力。
關鍵名詞
- OpenWebUI 是一個開源可擴展、功能豐富且用戶友好的自托管 AI 平臺,專為生成式人工智能模型的交互而設計;它支持多種大型語言模型(LLM)運行器,兼容 Ollama 和 OpenAI 兼容的 API;還支持自定義模型創建,集成特定提示詞、知識庫等;并內置了 RAG 推理引擎;旨在實現完全離線運行。
- Ollama 是一款開源工具(大模型管理工具),旨在簡化大型語言模型(LLM)在本地計算機上的運行、部署和交互;它支持多種流行的預訓練模型,如 LLaMA 2、Gemma 等;可以有效降低打語音模型的使用門檻,推動 AI 技術的普惠。
- 天翼云函數計算(FAAS)是一項由事件驅動的全托管 Serverless 計算服務,用戶無需管理基礎設施,只需編寫上傳代碼;由平臺負責計算資源與代碼運行,并提供高彈性、高可用、安全穩定、免運維、按需付費的云計算服務。FAAS 平臺提供 GPU 函數支持一鍵創建部署大模型應用,幫助用戶快速體驗最新大模型。
大模型部署難點
大模型的部署面臨諸多挑戰,這些難點主要集中在硬件資源、數據處理、模型優化、安全性以及實際應用的適配等多個方面。個人用戶想部署大模型主要有下列難點:
- 硬件資源成本大:大模型的訓練和推理需要強大的硬件支持,通常需要高性能的 GPU/TPU 集群;例如推理時可能需要 A100、H100 等高端 GPU。即使是較小的模型(如1.5B參數),也需要至少4GB顯存的GPU和16GB內存。
- 軟件環境與配置難:部署需要搭建復雜的軟件環境,涉及操作系統、AI 框架等,配置錯誤可能導致模型無法運行。部署過程中可能遇到依賴環境不兼容或缺失的問題,例如 Python、CUDA 版本不匹配。
- 缺乏中文支持:許多部署工具(如Ollama、Docker)不提供中文支持,進一步增加了模型部署門檻。
- 技術支持不足:本地部署需要掌握一定的專業支持,特別是故障排除和模型優化;依靠個人自查解決問題難度很大,且效率低下。
FAAS平臺部署DeepSeek
接下來將分別從平臺優勢、部署架構、操作步驟等幾個方面,為您詳細展示如何通過天翼云 FAAS 平臺快速部署 DeepSeek 大模型,構建私有的 AI 智能問答應用。
平臺優勢
- 免運維:FAAS 提供全托管 Serverless 計算服務,無需管理維護基礎設施;用戶只需要指定GPU資源規格,平臺就會置備好計算資源即刻使用;同時 24h 服務的技術支持團隊,隨時為用戶提供專業支持和答疑解惑。
- 低成本:FAAS 平臺采用極低的按量計費模式,根據用戶實際使用的資源量進行收費;用戶不再需要承擔高額的 GPU 硬件購買、租用、這就成本,甚至能夠以最低的費用使用到最新的 GPU 卡。
- 開箱即用:FAAS 平臺開箱即用,省去了復雜的軟件環境、操作系統、框架配置等操作;提供多種 AI應用模板、GPU函數模板,幫助用戶快速構建部署AI應用和大模型。
- 高彈性:FAAS 平臺支持實時彈性伸縮和動態負載均衡,秒級擴縮容能力靈活調度計算資源;保障應用服務穩定高可用,相比于人工擴縮容提效顯著。
部署架構
通過應用模板快速創建模型服務,將 OpenWebUI 和 Ollama 以函數的形式部署在 FAAS 平臺。
-
OpenWebUI 通過 Http 觸發器供用戶訪問,提供聊天問答等交互。
-
OpenWebUI 和 Ollama 直接通過 Ollama API 進行交互。
-
NAS文件服務管理大模型相關文件供 Ollama 調用,同時也可存儲知識庫。
操作步驟
下面將詳細介紹如何從零到一部署構建DeepSeek大模型的智能問答應用。
注意您需要請交提官網工單申請加入FAAS平臺的GPU函數白名單,方可體驗后續流程。
1、創建虛擬私有云(VPC)
-
依次進入天翼云“控制中心>網絡控制臺>虛擬私有云”,點擊右上方“創建虛擬私有云”。
-
在創建頁面“VPC基本信息”部分,地域選擇華東 - 華東1,VPC名稱、子網等根據實際需求填寫。
-
點擊下一步確認配置并創建。
2、創建彈性文件服務(SFS)
創建彈性文件服務SFS Turbo實例,用于存儲大模型相關文件,以及私有知識庫。
-
依次進入天翼云“控制中心>存儲控制臺>文件存儲>文件系統列表”,點擊右上方“創建SFS Turbo實例”。
-
在創建頁面,地域選擇華東 - 華東1,網絡選擇我們上一步創建的虛擬私有云實例,協議類型選擇NFS,其余字段可以根據實際需求填寫。
-
點擊下一步確認配置并創建。
3、配置自定義域名
配置自定義域名用于后續應用通過Web訪問。
進入天翼云函數計算控制臺>高級功能>域名管理”頁面創建域名。具體配置規則請參考文檔:配置自定義域名
注意當前天翼云函數計算服務可提供試用域名給用戶體驗試用(不可用于生產正式用途),如有需求請通過天翼云官網提交工單至函數計算平臺加白處理。
4、部署DeepSeek-R1模型應用
通過函數計算平臺提供的應用模板快速創建大模型應用,并一鍵部署相關服務。
-
依次進入天翼云“控制中心>函數計算>應用”,點擊左上方“創建應用”。
-
創建方式選擇應用模板,并找到DeepSeek R1模板,點擊“立即創建”。
-
在“基礎配置”部分,相關字段可以根據實際需求填寫。
-
在“高級配置”部分,地域選擇 華東1,VPC和NAS分別選擇前面步驟創建的虛擬私有云實例、彈性文件服務SFS Turbo實例,遠端目錄、函數本地目錄等其余字段可以根據實際需求選擇填寫,然后點擊“創建應用”完成操作。
-
應用部署成功后,在函數列表頁面可以看到如下3個函數:
- xxx-webui:OpenWebUI 是一個可擴展的、功能豐富、用戶友好的自托管 AI 平臺,專為完全離線運行而設計。兼容Ollama、OpenAI的API。
- xxx-download:Download函數用于將對應的DeepSeek R1模型下載到NAS,以便后續Ollama快速加載。
- xxx-ollama:Ollama 是一個開源的大型語言模型(LLM)平臺,專注于簡化大語言模型的本地部署和使用。
5、訪問 OpenWebUI 開始對話
待應用和函數部署成功后,回到應用列表頁面查看應用;點擊應用名稱進入詳情頁,點擊“默認環境>環境信息>訪問域名”。
然后跳轉至Open WebUI界面進行對話:
更多高級玩法
1、開啟聯網搜索
OpenWebUI支持配置開啟聯網搜索能力,使用博查Web Search API;操作如下:
-
點擊 鏈接在博查 AI 開放平臺創建 API KEY。
-
在Open WebUI“管理員設置>聯網搜索”配置博查API KEY。
-
回到Open WebUI對話界面,點擊開啟“聯網搜索”。
2、擴展模型知識庫
OpenWebUI支持添加文檔知識庫,提供給大模型學習之后就可以進行知識庫答疑;操作如下:
-
在Open WebUI“工作空間>知識庫”界面,創建知識庫并上傳相關文檔,例如:
-
回到Open WebUI對話界面,在輸入框鍵入“#”可以選擇對應的知識庫進行對話:
3、配置預留實例提高應用性能
FAAS 平臺支持配置預留實例,通過預先啟動模型服務實例,確保用戶請求能夠立即響應,進而提高大模型應用的響應速度。您只需要進入目標模型函數的詳情配置頁面,點擊“預留實例配置”創建預留實例數策略即可。相關說明請參考文檔《預留實例模式》
4、通過云原生網關訪問函數
FAAS 平臺支持配置云原生網關訪問函數,詳見《云原生網關觸發器》
5、管理DeepSeek R1模型
可以通過 download 函數的觸發器調用 Ollama API 進行模型管理,操作步驟如下:
-
在download函數詳情頁面“配置”選項卡,找到觸發器以及觸發器的公網訪問地址。
-
通過觸發器的公網訪問地址調用ollama的API。
-
下載模型:POST /api/pull
-
拷貝模型:POST /api/copy
-
刪除模型:DELETE /api/delete
其它API以及詳細的定義請參考:
-
調用API。
以下載DeepSeek R1 7B模型為例,執行如下命令(將your-http-trigger替換為觸發器的公網訪問地址):
curl -X POST //your-http-trigger/api/pull -d '{"model": "modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF"}'注意Ollama默認從Hugging Face下載模型,這里我們選擇ModelScope平臺以加速模型的下載。
6、接入天翼云慧聚一站式智算服務平臺API
提供了671B參數大小DeepSeek-R1等大語言模型,我們也可以通過配置息壤平臺的模型接口到OpenWebUI:
返回DeepSeek專題導航。