概述:
ComfyUI是一個基于節點的圖形用戶界面(GUI),專門為Stable Diffusion設計。用戶可以通過鏈接不同的節點來構建復雜的圖像生成工作流程。這些節點可以包括加載檢查點模型、輸入提示、指定采樣器等。ComfyUI提高了自由度,允許不同功能的節點自由組合,實現全自動化運作的工作流程。
準備環境:
1.【開發機】創建開發機
-
填入名稱“comfyui”選擇隊列及可用區
-
【資源配置】- 【GPU加速型】下拉選擇規格“CPU:12核 | 內存:20GB | GPU:NVIDIA-3060 * 1” (GPU類型可選擇A10 A100)
-
框架版本選擇【社區鏡像】的“comfyui-cuda11.7-pytorch2.0.1”
2.點擊【確認】
3.啟動開發機:
-
在【開發機】中刷新狀態,等待“comfyui”開發機狀態進入運行中后點擊右側操作欄【打開】
-
點擊【打開】后將跳轉到Jupyte開發機。
-
在Jupyter啟動頁【AI Community】下點擊"AI Task:ComfyUI"跳轉到ComfyUI頁面
4.準備模型文件:
-
在Jupyter啟動頁【其他】下點擊"終端"跳轉到終端頁面
-
終端輸入命令:
wget -c "//modelscope.cn/api/v1/models/AI-ModelScope/anything-v3.0/repo?Revision=master&FilePath=Anything-V3.0-pruned-fp16.safetensors" -P ./models/checkpoints/ wget -c "//modelscope.cn/api/v1/models/AI-ModelScope/sd-vae-ft-mse-original/repo?Revision=master&FilePath=vae-ft-mse-840000-ema-pruned.safetensors" -P ./models/vae/ wget -c "//modelscope.cn/api/v1/models/AI-ModelScope/stable-diffusion-v1-5/repo?Revision=master&FilePath=v1-5-pruned-emaonly.ckpt" -O ./models/checkpoints/v1-5-pruned-emaonly.ckpt啟動推理:
-
上面步驟下載模型完成后,在ComfyUI頁面點擊【Queue Prompt】
-
第一次推理需要加載模型,要等待一段時間,可以在終端查看程序日志,在Jupyter啟動頁【其他】下點擊"終端"跳轉到終端頁面
-
終端輸入命令:tail -f log.txt
-
推理完成后會根據CLIP框的提示詞在右側生產圖片
-
更換workflow并生成圖片:
-
在ComfyUI頁面點擊按快捷鍵CTRL+O,選擇controllnet_workflow.json
-
在Load Image控件點擊【choose file to upload】選擇文件input_scribble_example.png
-
在ComfyUI頁面點擊【Queue Prompt】
-
推理完成后會根據CLIP框的提示詞在右側生產圖片