部署新服務
更新時間 2025-06-26 17:45:57
最近更新時間: 2025-06-26 17:45:57
分享文章
本文介紹了如何部署模型推理服務。
概述
推理服務是將訓練好的機器學習模型部署為可實時處理預測請求的系統，它涉及模型的配置、部署、監控和彈性伸縮。科研助手的推理服務確保了高效、可靠的推理能力。
操作步驟
-
登錄科研助手控制臺。
-
在控制臺左側導航欄中，選擇【科研服務】。
-
在【科研服務】頁面中，單擊左上角的【部署服務】。
-
在【部署服務】頁面中,分別需要配置基礎信息和資源配置。在基礎信息中填寫服務名稱、選擇需要部署服務的模型和模型版本，選擇所需的運行環境。在資源配置中選擇模型服務所需的資源規格和實例數量。配置完畢后點擊【啟動服務】，即可創建模型推理服務。
-
以下是配置項的詳細說明：
【基礎信息】配置項 介紹 服務名稱 模型推理服務的名稱，用于在服務列表中展示模型名稱。 算法框架 選擇模型所使用的框架，默認pytorch。 模型格式 選擇模型推理服務所使用的模型格式，默認torchscript。 運行環境 選擇實例運行的鏡像，內置了模型推理服務所需的運行環境。 【模型來源】
配置項 介紹 企業項目 選擇存放模型的科研文件所在的企業項目。 科研文件 選擇存放模型的科研文件。 模型路徑 選擇模型存放在科研文件中的路徑。 【資源配置】
配置項 介紹 隊列 選擇對應可用區下的隊列。 資源規格 選擇對應可用區下的資源規格。 實例數量 為模型推理服務所需申請的實例數量。
