背景信息

ChatGLM-6B 是一個開源的、支持中英雙語的對話語言模型，基于 General Language Model架構，具有 62 億參數。結合模型量化技術，用戶可以在消費級的顯卡上進行本地部署（INT4 量化級別下最低只需 6GB 顯存）。ChatGLM-6B 使用了和 ChatGPT 相似的技術，針對中文問答和對話進行了優化。經過約 1T 標識符的中英雙語訓練，輔以監督微調、反饋自助、人類反饋強化學習等技術的加持，62 億參數的 ChatGLM-6B 已經能生成相當符合人類偏好的回答。如果沒有GPU硬件的話，也可以在CPU上進行推理，但是推理速度會更慢。

前期準備

• 已開通天翼云彈性容器實例服務。
• 天翼云容器鏡像服務CRS或私有鏡像倉庫中已推送開源ChatGLM-6B鏡像。

硬件需求

操作步驟

下面將介紹如何在ECI上快速部署ChatGLM-6B的CPU實例并進行推理。

1. 通過天翼云彈性容器實例訂購頁面創建ECI實例。
2. 根據上述硬件需求，配置合適的CPU，內存資源。
3. 鏡像選擇開源ChatGLM-6B鏡像，并指定鏡像版本。

4. 在容器設置中，配置啟動命令 python3 web_demo.py、cpu。

5. 提交訂單，然后回到控制臺頁面等待ECI實例Running。