在科研助手使用Open WebUI對LLM模型推理
更新時間 2025-06-26 17:47:16
最近更新時間: 2025-06-26 17:47:16
分享文章
本文介紹了如何在科研助手中使用Open WebUI對LLM模型推理。
概述:
Open WebUI 是一個可擴展、功能豐富且用戶友好的自托管 WebUI,旨在完全離線運行。它支持各種 LLM 運行程序,包括 Ollama 和 OpenAI 兼容的 API。
準備環境:
1.【開發機】創建開發機
-
填入名稱“open-webui”選擇隊列及可用區
-
【資源配置】- 【GPU加速型】在單選框中選擇“NVIDIA A100” (規格根據實際情況修改 GPU類型可選擇A10 A100 3060 3080)
-
框架版本選擇【社區鏡像】的“vnc-open-webui-cuda11.3”
2.點擊【確認訂單】
啟動開發機并登錄VNC:
- 【開發機】刷新狀態,等待open-webui開發機狀態進入到【運行中】狀態后點擊右側操作欄【打開】。
- 點擊【打開】跳轉到vnc開發機,成功進入到遠程桌面中。
啟動Open WebUI,準備模型:
-
點擊桌面上【OI】圖標,等待彈窗瀏覽器(第一次啟動時間較長)
-
在窗口點擊【注冊】輸入用戶名,郵箱,和密碼 (信息保存在VNC開發機中,重啟后需要重新注冊)
-
在窗口點擊【登錄】輸入用戶名,密碼,進入對話界面
-
在【選擇一個模型】下拉框輸入模型,如【llama:8b】,選擇【從 Ollama.com 拉取“llama3:8b”】
使用模型對話:
-
在【選擇一個模型】下拉框選擇上一步下載好的模型【llama3:8b】
-
在對話框里輸入問題后點擊【發送消息】圖標,模型將給出答復