大模型學習機服務啟停最佳實踐
更新時間 2024-03-25 15:07:25
最近更新時間: 2024-03-25 15:07:25
分享文章
本文將為您介紹如何使大模型學習機服務啟停
前提條件
學習機內通過docker容器的方式部署了text-generation-webui與stable-diffusion-webui兩套框架的運行環境. 可以通過以下命令進行查看:
docker ps -a
網頁服務的進程在容器內啟動, 框架代碼與模型放置在本機的/root目錄下, 通過掛載的方式傳入到容器中。
您無需進入容器執行操作, 只需要直接操作/root/text-generation-webui和/root/stable-diffusion-webui下的文件即可將改動同步到容器內部。
停止服務
直接停止docker容器即可停止對應服務, 可選擇執行以下命令:
docker stop llama
docker stop stable_diffusion
重啟服務
通過執行預置的重啟腳本啟動容器與服務, 可選擇執行以下命令:
sh /root/restart_llama_webui.sh
sh /root/restart_sd_webui.sh
也可以只重啟容器, 不啟動服務, 隨后手動進入容器啟動服務。
此方式可以用來查看框架的具體執行日志, 以便于追查問題等。
sh /root/docker_run_llama.sh
sh /root/docker_run_sd.sh
隨后手動進入容器, 啟動服務, 以llama為例:
docker exec -it llama bash
cd /root/text-generation-webui
sh run.sh
此時會在命令行界面打印日志. 如果關閉命令行界面或者通過ctrl + c終止命令, 則會關閉服務。