NVIDIA 在 2020 年 4 月收購了 Mellanox,這是一家以色列的網絡技術公司,專注于高性能計算、云計算和數據中心的網絡解決方案。因此,NVIDIA CX 系列網卡實際上就是原來的 Mellanox ConnectX 系列網卡,只是更名為 NVIDIA Mellanox ConnectX 網卡。這些網卡都支持 InfiniBand 和以太網兩種網絡類型,可以提供高性能的網絡計算加速功能,適用于高性能計算、人工智能和云數據中心等場景。
mlnx官方驅動獲取方式
- mellanox官方已經適配的CTyunOS2 0062內核,驅動可在麥洛斯官網獲取到
- CTyunOS2 麥洛斯官方適配版本為MLNX_OFED_LINUX-5.7-1.0.2.0及以上更高版本
- CTyunOS3麥洛斯官方正在適配中,預計2024年初發布,屆時可通過官網下載
- CTyunOS2推薦使用MLNX_OFED_LINUX-5.8-3.0.7.0麥洛斯驅動(經過測試)
包含ko模塊的有5個rpm,如下所示,其他83個皆為用戶態工具、開發包、debug包,這些包與kernel無強綁定關系,這些內核無關rpm包通用于0062/0064/0066/0068 內核
- mlnx-ofa_kernel-modules-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm
- mlnx-ofa_kernel-devel-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm
- mlnx-nvme-5.8-OFED.5.8.3.0.4.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm
- knem-modules-1.1.4.90mlnx2-OFED.23.07.0.2.2.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm
- kernel-mft-4.22.1-307.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm
針對ko模塊,mellanox官方只適配0062內核,對于0064 0066等版本內核,都已經重新編譯。對于用戶態工具,無需重新編譯,可直接用mlnx官方提供的rpm包安裝即可。
最后,核心驅動有3個,只需安裝這三個包,能滿足基本需求(最基本功能)
- mlnx-ofa_kernel-5.8-OFED.5.8.3.0.7.1.ctyunos2.0.ctl2.x86_64.rpm
- mlnx-ofa_kernel-modules-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm
- mlnx-tools-5.8.0-1.lts.58307.x86_64.rpm
mlnx驅動安裝方式劃分為兩種,一種是官方自帶的腳本安裝,另一種是自主選擇rpm安裝。
其中:
- 官方自帶腳本,除了安裝核心驅動,默認會安裝一些用戶態工具。適合快速簡單部署
- 自主選擇rpm安裝,根據您自己的需求,有選擇的安裝。需要用戶清楚各個包的功能
mlnx驅動安裝方式
方式一:腳本安裝
以0062 內核、x86_64架構、MLNX_OFED_LINUX-5.8-3.0.7.0為例,
step1 首先從mellanox官網 或者 網盤中獲取安裝包
step2 上傳驅動包到目標機器,解壓
tar -xvf MLNX_OFED_LINUX-5.8-3.0.7.0-ctyunos2.0-x86_64.tgz
cd MLNX_OFED_LINUX-5.7-1.0.2.0-ctyunos2.0-x86_64
step3 安裝依賴包
yum install lsof -y
不同環境可能存在略微差異,安裝過程中根據腳本提示安裝所需依賴即可。
step4 執行安裝腳本
./mlnxofedinstall --all --force
若遇到依賴錯誤,請用yum命令安裝對應缺失軟件包即可
step5 啟動openibd服務
systemctl enable --now openibd
step6 更新initramfs保證重啟后驅動能夠正常加載。(正常情況下這兩條命令沒有任何輸出)
depmod -a
dracut -f
驗證方式,重啟后,檢查openibd服務是否正常
安裝方式二:rpm/yum安裝
以0062 內核、x86_64架構、MLNX_OFED_LINUX-5.8-3.0.7.0為例
step1 安裝依賴工具
yum install -y lsof
必須安裝lsof工具,否則安裝過程會報錯
/ignore-error/1" width="680.333" height="31.8784" style=" margin-left: 0px; margin-top: 0px; width: 680.333px; height: 31.8784px;">
step2 安裝驅動及工具
mlnx最核心的驅動主要有三個,其他屬于工具、開發庫。若您的需求是只需要設備能正常使用,只需要安裝這三個包即可。
- mlnx-ofa_kernel-5.8-OFED.5.8.3.0.7.1.ctyunos2.0.ctl2.x86_64
- mlnx-ofa_kernel-modules-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64
- mlnx-tools-5.8.0-1.lts.58307.x86_64
若yum軟件源中包含,則可以用yum命令安裝
yum install -y \
mlnx-ofa_kernel-5.8-OFED.5.8.3.0.7.1.ctyunos2.0.ctl2.x86_64 mlnx-ofa_kernel-modules-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64 mlnx-tools-5.8.0-1.lts.58307.x86_64
若yum源不包含驅動或離線環境,則使用rpm安裝
rpm -ivh mlnx-ofa_kernel-5.8-OFED.5.8.3.0.7.1.ctyunos2.0.ctl2.x86_64.rpm mlnx-ofa_kernel-modules-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm mlnx-tools-5.8.0-1.lts.58307.x86_64.rpm
step3 啟動openibd服務
systemctl enable --now openibd
step4 更新initramfs保證重啟后驅動能夠正常加載。(正常情況下這兩條命令沒有任何輸出)
depmod -a
dracut -f
驗證方式,重啟后,檢查openibd服務是否正常