模型的國產化適配與性能加速
更新時間 2025-07-09 18:17:01
最近更新時間: 2025-07-09 18:17:01
分享文章
平臺通過多種算子遷移適配、算子調優能力和工具鏈,實現國產化硬件下模型在預訓練、微調、推理下的性能對齊NV80%及以上。
平臺針對國產化硬件910B進行主流模型的遷移適配和性能優化,多數訓練性能達到A800的90%及以上,推理性能達到A10或A100的80%及以上。
目前模型廣場所有模型均達到國產化適配的性能標準。
主流模型適配結果示例:
- 多數模型基于昇騰的訓練可達A800的90%以上,舉例如下:
Llama3-8B-instruct、ChatGLM3-6B 性能對標可達90%
Qwen2-72B-Instruct 性能對標可達100% - 部分模型基于昇騰910B的推理可達A800的80%以上,舉例如下:
Qwen-1.8B-Chat 性能對標可達110.32%
Llama2-13B-Chat 性能對標可達91.28%
主流適配模型清單參考如下:
- 大語言:
DeepSeek:DeepSeek-R1系列、DeepSeek-V3系列
Llama:Llama系列、Llama2系列、Llama3系列
通義千問:Qwen系列、Qwen1.5系列、Qwen2系列、Qwen2.5系列、Qwen3系列
智譜:ChatGLM2系列、ChatGLM3、GLM4系列
書生浦語:InternLM系列、InternLM2系列
百川:Baichuan系列、Baichuan2系列、Baichuan-Turbo
電信星辰:TeleChat系列、TeleChat2系列
其他:AquilaChat-7B、Gemma2-9B-Chat等 - 多模態:
OpenClip
ChineseCliP
Blip2
VisualGLM-6B
StableDiffusion-V1.5
StableDiffusion-V2.1
Qwen-VL-Chat
InternVL-Chat-V1.5
在國產化適配方面主要具備能力:
- 針對提供的算力,可以提供全套遷移服務
- 針對提供的AI算力,支持自動生成模型的算子支持度分析報告
- 針對提供的算力,可以提供遷移適配服務
- 對適配后的算子,可以提供精度對齊調優工具
- 對適配后的算子,可以提供專家持續提供調優指導服務