概述
DeepSeek-R1
DeepSeek-R1 是幻方量化旗下 AI 公司深度求索(DeepSeek)研發的一款高性能推理模型。該模型使用強化學習技術進行后訓練,專注于提升在數學、代碼和自然語言推理等復雜任務上的表現。
DeepSeek-R1 在需要邏輯推理、思維鏈推理和實時決策的任務中表現出色,如解決高級數學問題、生成復雜代碼、解析復雜科學問題等。在類似 Codeforces 的挑戰場景中獲得了2029 Elo 評分;在復雜推理基準測試中,表現與 OpenAI 的 o1 模型相當。盡管總共有6710億的龐大參數,但每次前向傳遞時僅激活370億個參數,比大多數大模型更加高效的利用資源。
AnythingLLM
AnythingLLM 是一款開源平臺,以簡單易用為顯著特點,它為沒有深厚技術背景的用戶敞開了大語言模型應用開發的大門,憑借直觀界面讓開發變得輕松。其具備高度可定制性,用戶能按需靈活調整模型參數、功能邏輯等,還擁有強大的集成能力,可與多種數據源及工具無縫對接。在功能上,它涵蓋模型管理、數據處理和應用部署等方面,支持多模型選擇與更新,可有效處理數據以提升模型效果,并能以多種方式將應用快速推向生產環境。廣泛適用于智能客服提升服務效率、內容創作輔助產出優質文案以及數據分析提供決策洞察等多元場景。
當前在科研助手的社區鏡像中,我們已經為您提前部署好了基于 AnythingLLM 搭建的DeepSeek 知識庫平臺,方便您即刻體驗,開箱即用。
前置說明
- 該文檔為在科研助手上使用 AnythingLLM 搭建 DeepSeek 知識庫的說明;
- 本產品中的模型由第三方主體提供,盡管云公司已盡最大努力進行識別和維護,但仍無法保證模型的可用性。請客戶按照該產品的服務協議使用該產品,做好甄別并對自行選擇的服務負責
準備環境
本地文檔準備
在搭建知識庫過程中,如需要引用本地文檔,請提前在科研助手中通過【數據存儲】功能,將本地數據傳至開發機上。此處以數據集管理為例,演示如何創建及掛載。
- 進入科研助手控制臺,點擊左上角,切換“科研版”;
- 在【數據存儲】彈出的選項中,選擇【數據集管理】。在【數據集管理】頁面中切換至【個人數據集】,點擊左上角的【創建數據集】按鈕。
此處需注意,數據集選用的可用區和后續開發機的可用區應在同一個可用區,否則無法跨區掛載。此處選擇中衛4。其余請按照實際需求選擇。
- 刷新頁面,可以在列表中看到創建的數據集bc-manual。
- 在數據集右側單擊【查看】按鈕,進入文件管理頁面,點擊右上角【本地上傳】-【上傳文件】,選擇您所創建知識庫需要的文檔。
上傳完成后,進行下一步開發機準備。
開發機準備
- 進入科研助手控制臺,點擊左上角,切換“科研版”。
- 進入“科研版”總覽頁,點擊快捷入口【找應用】,進入應用商城。
- 在“應用商城”中,找到名為“DeepSeek-R1知識庫”的鏡像,點擊【使用此鏡像】,進入開發機創建界面;
- 在購買頁面中,【基礎信息】-【主機規格】一欄,用戶可以按照如下配置選擇:
| 配置 | 算力型號 | 可用區 |
|---|---|---|
| 最低配置 | GPU.gn3.m1 | 廈門4、揚州7 |
| 推薦配置 | GPU.gn4.2xl1 | 貴陽2 |
| 高端配置 | NVIDIA A100 40G | 中衛4 |
這里以NVIDIA-A100-40G為例,框架版本已默認選好【社區鏡像】的“anythingllm-deepseek-r1-cuda11.3”
- 點擊【確認訂單】,完成開發機創建并啟動。
啟動開發機并登錄VNC遠程桌面
- 購買完成后,可以看見開發機狀態顯示為【啟動中】,等待新創建的開發機狀態進入到【運行中】,然后點擊右側操作欄【打開】;
- 點擊【打開】跳轉到開發機頁面,進入到VNC遠程桌面頁面中。
- 點擊啟動 AnythingLLM 圖標,將自動部署 AnythingLLM 服務,啟動完成后將自動彈出 AnythingLLM 頁面。
- 點擊 Get Started,在 LLM 列表中找到并選中“Ollama”,選中后可看到 Ollma Model 中默認選擇了 DeepSeek-R1 模型
- 用戶設置中選擇“Just Me”和“No”。
- 繼續點擊“->”,進入下一步
- 繼續點擊“->”,進入下一步
- 輸入“工作區名稱”,創建一個工作區
- 進入到 AnythingLLM 工作區
在科研助手開發機中通過 AnythingLLM 使用 DeepSeek 模型
- 點擊左側菜單“+ 新工作區”,輸入工作區名稱并保存。
- 在工作區中即可體驗 DeepSeek 模型。
- 點擊左側工作區的“上傳按鈕”,可將知識庫文檔導入 AnythingLLM 中。
- 上傳后,點擊Save and Embed,保存上傳的知識庫內容。
- 輸入知識庫相關問題,驗證知識庫是否更新。