平臺針對國產化硬件910B進行主流模型的遷移適配和性能優化,多數訓練性能達到A800的90%及以上,推理性能達到A10或A100的80%及以上。
目前模型廣場所有模型均達到國產化適配的性能標準。
主流模型適配結果示例:
多數模型基于昇騰的訓練可達A800的90%以上,舉例如下:
Llama3-8B-instruct、ChatGLM3-6B 性能對標可達90%
Qwen2-72B-Instruct 性能對標可達100%部分模型基于昇騰910B的推理可達A800的80%以上,舉例如下:
Qwen-1.8B-Chat 性能對標可達110.32%
Llama2-13B-Chat 性能對標可達91.28%
主流適配模型清單參考如下:
大語言:
DeepSeek:DeepSeek-R1系列、DeepSeek-V3系列
Llama:Llama系列、Llama2系列、Llama3系列
通義千問:Qwen系列、Qwen1.5系列、Qwen2系列、Qwen2.5系列、Qwen3系列
智譜:ChatGLM2系列、ChatGLM3、GLM4系列
書生浦語:InternLM系列、InternLM2系列
百川:Baichuan系列、Baichuan2系列、Baichuan-Turbo
電信星辰:TeleChat系列、TeleChat2系列
其他:AquilaChat-7B、Gemma2-9B-Chat等多模態:
OpenClip
ChineseCliP
Blip2
VisualGLM-6B
StableDiffusion-V1.5
StableDiffusion-V2.1
Qwen-VL-Chat
InternVL-Chat-V1.5
在國產化適配方面主要具備能力:
針對提供的算力,可以提供全套遷移服務
針對提供的AI算力,支持自動生成模型的算子支持度分析報告
針對提供的算力,可以提供遷移適配服務
對適配后的算子,可以提供精度對齊調優工具
對適配后的算子,可以提供專家持續提供調優指導服務