天翼云GPU云主機模型推理性能總覽
更新時間 2025-06-16 10:23:31
最近更新時間: 2025-06-16 10:23:31
分享文章
本節先簡要介紹了天翼云GPU云主機模型推理性能總覽
GPU云主機能夠提供優秀的浮點計算能力,可以實現端到端推理加速,減少推理延遲,從而提高模型的實時性和響應速度。本文基于DeepSeek模型實測數據,對比分析天翼云多款主流GPU云主機的推理性能表現。
下面的表格展示了以C8E類型的32c128g規格的云主機作為基線,模型使用DeepSeek-R1-Distill-Qwen-7B,以及C8E類型的128c512g規格的云主機作為基線,模型使用DeepSeek-R1-Distill-Qwen-32B,天翼云多款主流GPU云主機的推理時延降低率和吞吐量提升率(值越大表示性能越好)。
模型
云主機類型
顯卡類型
時延降低率
吞吐量提升率
DeepSeek-R1-Distill-Qwen-7B
?
pn8i.4xlarge.8
1*L20
88%
800%
p8a.6xlarge.4
1*A100
85%
857%
pi7.4xlarge.4
1*A10
72%
467%
p2vs.2xlarge.4
1*V100s
82%
597%
p2v.2xlarge.4
1*V100
81%
617%
pi2.4xlarge.4
2*T4
73%
399%
DeepSeek-R1-Distill-Qwen-32B
?
pn8i.8xlarge.8
4*L20
92%
1550%
p8a.24xlarge.4
4*A100
87%
1497%
pi7.16xlarge.4
4*A10
81%
821%
p2vs.8xlarge.4
4*V100s
83%
834%
p2v.8xlarge.4
4*V100
82%
859%
?
?
注意
pn8i相關規格的產品將于2025年4月30日上線。