當你使用AI聊天服務時，是否有以下煩惱：

1、國外服務禁止中國IP訪問

2、賬號很容易被刪賬號

3、生成質量參差不齊

4、排隊時間長，識別內容有限，需要月費才可以使用高級服務

5、使用第三方服務，容易暴露隱私信息，對個人信息安全產生威脅

6、模型都是別人預訓練好的，不能根據自己需要做微調

....

假如可以將一個AI聊天服務部署到本地，而且只需要桌面級的電腦。這樣不再需要再擔心網絡問題，不再需要申請賬號，不再需要擔心生成質量低，不再需要等待別人排隊的煩惱，不再需要繳納高昂的月費，不再需要購買第三方各種增值服務，不再需要擔心個人隱私被暴露，不再需要擔心模型不能被修改。

現在保姆式手把手教你怎么在一臺家用桌面級電腦上部署本地的AI聊天服務。在開始之前，先介紹一下使用配置。

硬件環境：

CPU：AMD和INTEL都可以，不使用CPU推理運算，則CPU至少4線程。需要用CPU推理運算，則推薦16線程以上。文章例子沒使用CPU進行推理，使用設備是i7-11700（8核16線程）

內存：需要至少16G以上，文章使用設備是32G內存

顯卡：使用CPU運算可以忽略顯卡配置。文章例子使用的是顯卡推理，由于Pytorch支持的原因，這里不能使用AMD的顯卡，需要使用NVIDIA顯存至少6G以上的顯卡，推薦使用16G顯存。文章使用設備是NVIDIA 4080

硬盤：需要預留14G以上的硬盤空間存放模型

軟件環境：

1、系統環境

2、顯卡驅動

1）CUDA Toolkit驅動。由于Pytorch支持的原因，這里使用CUDA Toolkit驅動版本為12.1，下載：developer.nvidia.com/cuda-12-1-0-download-archive。下載好后雙擊安裝，一直點擊默認配置直到安裝完成。

2）顯卡驅動，由于CUDA Toolkit驅動版本為12.1，所以CUDA版本需要是12.1以上，文章使用的是12.3，下載：cn.download.nvidia.cn/Windows/546.29/546.29-notebook-win10-win11-64bit-international-dch-whql.exe。下載好后雙擊安裝，一直點擊默認配置直到安裝完成。

安裝后通過nvidia-smi和nvcc --version查看CUDA和CUDA Toolkit版本，查詢結果如下：

3、python環境

需要使用python3，文章使用的是3.10.11版本。為了不影響原來安裝好的環境和方便管理，這里使用pyenv去安裝python，這樣切換不同版本的python而不會影響系統變量。具體安裝方法如下：

1）下載：github.com/pyenv-win/pyenv-win/tree/master/pyenv-win。 install-pyenv-win.ps1至電腦某目錄(如D:\pyenv)，下載完成后，到保存的目錄調起PowerShell（不是cmd），運行./install-pyenv-win.ps1。執行完成后自動注入系統環境變量。新起PowerShell，使用pyenv --version看是否安裝成功。

2）使用pyenv install --list查詢可安裝的版本，文章使用的是3.10.11。使用pyenv install 3.10.11安裝。安裝完成后通過pyenv global 3.10.11設置全局的Python版本。使用pyenv versions可以查詢安裝的Python版本。

4、設置git代理（可選）

后續操作需要從git上下載依賴文件，如果網絡不好可以通過設置git代理來提速，具體操作如下：

打開git bash

輸入 git config --global http.proxy 代理地址:端口號，如：

git config --global http.proxy 127.0.0.1:8888

輸入 git config --global https.proxy 代理地址:端口號，如：

git config --global https.proxy 127.0.0.1:8888

取消代理可以這樣操作：

git config --global --unset http.proxy

git config --global --unset https.proxy

5、安裝Pytorch

使用python3的pip3進行安裝

如果版本pytorch與CUDA不一致，可能會導致運行程序的時候出現類似下面的報錯：

raise AssertionError("Torch not compiled with CUDA enabled")
AssertionError: Torch not compiled with CUDA enabled

如果不確定自己CUDA是否安裝、可以這樣檢查，新建一個pytorch.py文件，內容如下：

import torch

print(torch.__version__)
print(torch.version.cuda)

使用cmd執行以下命令，即可看到輸入結果

python3 pytorch.py

6、下載開源模型

這里使用的是ChatGLM3-6B，是智譜AI和清華大學 KEG 實驗室聯合發布的新一代對話預訓練模型。擁有10B以下最強的基礎模型，支持工具調用（Function Call）、代碼執行（Code Interpreter）、Agent 任務等功能。

首先下載項目到本地：

進入項目：

cd ChatGLM3

安裝依賴，安裝過程可能比較久，需要下載大概12G的訓練模型。請保持網絡順暢，并且關閉360等管家和殺毒軟件

pip3 install -r requirements.txt

如果中途斷了，沒有啟動成功，則可能在下次啟動時，會出現多個模型文件夾，如果占用了空間，請按需刪除即可。

7、啟動前準備

安裝以下組件：

pip install streamlit
pip install streamlit-chat

進入ChatGLM3/basic_demo目錄，使用下面命令啟動：

streamlit run web_demo2.py --server.port 8080

成功運行后，會在瀏覽器自動打開一個網頁，這樣就可以愉快的AI聊天互動！！