推理加速型Pi3
更新時間 2025-03-17 16:46:11
最近更新時間: 2025-03-17 16:46:11
分享文章
本節包含了推理加速型Pi3云主機的概述、規格。
概述
Pi3型彈性云主機采用專為AI推理打造的NVIDIA A30 GPU,能夠提供超強的實時推理能力。單卡24GB顯存,933GB/s帶寬使得Pi3也同時可以支持一定的訓練場景。其理論AI訓練吞吐量三倍于NVIDA V100顯卡,六倍于前代Pi2型服務器的T4顯卡。Pi3型彈性云主機借助NVIDIA A30的運算器,能夠提供最大330TOPS的INT8算力(開啟稀疏性)。理論峰值單精度浮點性能:TF32:10.3TFLOPS,Tensor核心性能:TF32: 82TFLOPS | 165TFLOPS(開啟稀疏性)。
| 類型 | CPU 基頻/ 睿頻 | CPU型號 |
|---|---|---|
| Pi3 | 2.6GHz/3.5GHz | 6348 |
規格
表 Pi3彈性云主機的規格
| 規格名稱 | vCPU | 內存 (GiB) | 最大帶寬/基準帶寬(Gbps) | 最大收發包能力 (萬PPS) | 網卡多隊列數 | 網卡個數上限 | GPU | 顯存 (GiB) | 本地盤 | 虛擬化類型 |
|---|---|---|---|---|---|---|---|---|---|---|
| pi3.6xlarge.4 | 24 | 96 | 25/9 | 400 | 8 | 8 | 1 * NVIDIA A30 | 24 | - | KVM |
| pi3.12xlarge.4 | 48 | 192 | 35/18 | 750 | 8 | 8 | 2 * NVIDIA A30 | 48 | - | KVM |
| pi3-48u1g.12xlarge.4 | 48 | 192 | 35/18 | 750 | 16 | 8 | 1 * NVIDIA A30 | 24 | - | KVM |
| pi3-48u1g.24xlarge.4 | 96 | 384 | 40/36 | 850 | 32 | 8 | 2 * NVIDIA A30 | 48 | - | KVM |
Pi3型彈性云主機功能如下:
- 處理器:第三代英特爾? 至強? 可擴展處理器 6348,主頻2.6GHz,睿頻3.5GHz。
- 支持NVIDIA A30 GPU卡NVLINK互聯技術,單實例最大支持2張A30 GPU卡。
- 提供GPU硬件直通能力。
- 單GPU單精度計算能力最高10.3 TFLOPS。
- 單GPU INT8計算能力最高330 TOPS。
- 單GPU提供24GiB GDDR6顯存,帶寬933GiB/s。
- 內置1個OFA和1個NVJPEG和4個NVDEC。
常規支持軟件列表
Pi3實例主要用于GPU推理計算場景,例如圖片識別、語音識別、自然語言處理等場景。也可以支持一定的訓練場景。
常用的軟件支持列表如下:
- Tensorflow、Caffe、PyTorch、MXNet、Spark等深度學習框架。
- AMBER、NAMD、OPENFOAM等2000+支持GPU加速的軟件應用。
使用須知:
- Pi3型云主機,關機后基礎資源(包括vCPU、內存、鏡像)不計費,但系統盤仍會收取容量對應的費用。如有其他綁定的產品,如云硬盤、彈性IP、帶寬等,按各自產品的計費方法進行收費。
說明Pi3型云主機,關機后資源會被釋放,下次開機時如果后臺資源不足,可能會導致云主機開機失敗。如果您需要長期使用該云主機,建議保持開機狀態。
- Pi3型彈性云主機當前支持如下版本的操作系統:
- Ubuntu 20.04 server 64bit
- Ubuntu 18.04 server 64bit
- CentOS 8.2 64bit
- CentOS 8.1 64bit
- CentOS 8.0 64bit
- CentOS 7.9 64bit
- CentOS 7.8 64bit
- CentOS 7.7 64bit
- CentOS 7.6 64bit
- Pi3型云主機,所在物理機發生故障時,云主機支持自動恢復。
- 創建Pi3型云主機時,請確認在制作私有鏡像時已安裝Tesla驅動。如果未安裝,請在云主機創建完成后安裝驅動,以實現計算加速功能。詳細操作請參考GPU加速型實例安裝Tesla驅動及CUDA工具包章節。