安裝 CTFlashCkpt
更新時間 2024-10-02 10:22:41
最近更新時間: 2024-10-02 10:22:41
分享文章
這里向您介紹天翼云自研的CTFlashCkpt大模型存儲加速軟件包的安裝方式。
安裝CTFlashCkpt
源碼安裝CTFlashCkpt:
- python包下載地址：//huabei-2.zos.daliqc.cn/huabei2-cwai-images/ctflashckpt.tar
- 下載后進入到工程根目錄
-
sh scripts/build_wheel.sh build -
pip install dist/eagle-0.1.0-py3-none-any.whl
至此，CTFlashCkpt的軟件包安裝完成，使用原生pytorch的話，已經可以使用了（具體使用方法見“使用CTFlashCkpt”章節）。
CTFlashCkpt擴展使用:
如果需要為英偉達 Megatron-LM或華為ModelLink-megatrton的存儲加速的話，還分別需要下面的步驟：
英偉達 Megatron-LM
- 下載Megatron-LM代碼，可以參考
- 將CTFlashCkpt工程內scripts文件夾內的replace_megatron_checkpointing_methods.sh 拷貝到nvida Megatron-LM的根目錄,假設是/app/Megatron
-
cd /app/Megatron-LM && git checkout core_r0.5.0 && sh replace_megatron_checkpointing_methods.sh && pip3 install -e .
華為ModelLink
- 下載ModelLink代碼，可以參考
- 將CTFlashCkpt工程內scripts文件夾內的replace_megatron_checkpointing_methods.sh 拷貝到昇騰 ModelLink的根目錄,假設是/app/ModelLink
-
cd /app/ModelLink && sh replace_megatron_checkpointing_methods.sh && pip3 install -e .
