一、引言

本文圍繞昇騰通用推理鏡像的自定義部署展開最佳實踐梳理，旨在從模型準備、環境配置、部署流程等關鍵維度，提供一套可復用的最佳實踐。通過標準化的操作指南，幫助開發者快速掌握昇騰推理鏡像的自定義部署方法。

二、模型準備

1.開發機完成推理代碼開發和調試

1.1創建vscode開發機

1.2啟動vscode開發機

1.3打開vscode開發機

1.4在vscode開發機/work/cache目錄下,創建code和model目錄

1.5準備代碼包,把app.tar.gz文件復制到/work/cache/code

1.6右擊鼠標,打開Terminal

1.7 解壓代碼包到/work/cache/code目錄下

cd /work/cache/codetar -xzvf app.tar.gz

1.8.下載權重文件

cd/work/cache/model
wget //llm_models.gz4oss.xstore.daliqc.cn/ascend/bge-m3.tar
tar -xvf bge-m3.tar --strip-components=1
rmbge-m3.tar

啟動bge服務

cd /work/cache/code/app
pip install -r requirements.txt -i //pypi.tuna.tsinghua.edu.cn/simple
exportMODEL_PATH=/work/cache/model
mkdir/logger
python teleservice.py

1.9 耐心等幾分鐘,看到下面日志即代表啟動完成

1.10 點加號,進入新的Terminal界面

驗證服務是否正常

curl -X POST //127.0.0.1:8899/v1/embeddings \
  -H "Content-Type: application/json"\
  -d '{
    "input": ["近日天翼云科技有限公司總經理胡志強在世界電信日期間接受新華網記者采訪。"],
    "model": "bge-m3",
    "encoding_format": "float"
  }'

發現有向量數據返回及代表成功

2.開始制作鏡像

2.1 點擊制作鏡像

3.保存模型

3.1 保存至模型管理

選擇/work/cache/model下所有文件

下一步,填寫對應信息

耐心等幾分鐘,看到下面模型導入狀態成功,則代表模型保存成功

4.導入代碼包

4.1 導入代碼包

選擇代碼包app.tar.gz

導入完成

三、服務部署

1. 在我的模型列表中找到對應的模型點擊部署

2. 選擇對應版本,點擊確定

3. 選擇對應的自定義鏡像,和對應的代碼包

4. 配置環境變量

MODEL_PATH=/work/mount/model# 改地址于模型的掛載地址是同一地址

5. 配置運行命令,指定端口:8899

rm -rf /app/;cp -r 代碼包掛載地址/app/ /app;cd /app;python teleservice.py

6. 選擇資源類型:標準型,點擊開始部署

7 .查看部署狀態

8. 接入已有的服務組點擊編輯添加自己的bge模型

 調用驗證bge模型

curl --location '//wishub-x1.daliqc.cn/v1/embeddings'\
--header 'Content-Type: application/json'\
--header 'Authorization: Bearer 接入服務組appkey'\
--data '{ 
"input": ["embedding 內容"],
    "model": "bge模型id",
    "encoding_format": "float"
}'

四、總結

昇騰通用推理鏡像的自定義部署最佳實踐，是一套融合了模型準備與部署流程規范的綜合性解決方案。未來，隨著 AI 平臺生態的持續完善與推理場景的不斷豐富，自定義部署的最佳實踐還將進一步迭代，實現更智能、更高效的推理部署體系，為企業 AI 規模化應用注入更強動力。