【微知】Mellanox网卡如何查看网卡的模式是RoCE还是IB？（cma_roce_mode -d mlx5_0）

Mellanox MCX653106A-HDA是一款高性能的网卡，支持RoCE（RDMA over Converged Ethernet）技术。RoCE是一种通过以太网实现远程直接内存访问（RDMA）的技术，能够显著提高数据传输效率。以下是Mellanox MCX653106A-HDA RoCE部署的基本步骤： ### 1. 硬件安装 1. **安装网卡**：将Mellanox MCX653106A-HDA网卡插入服务器的PCIe插槽。 2. **连接网络**：使用适当的以太网线缆（如SFP28光模块和光纤）将网卡连接到交换机。 ### 2. 软件安装 1. **操作系统支持**：确保服务器运行的是支持RoCE的操作系统，如Linux（Ubuntu、CentOS等）。 2. **安装驱动程序**：从Mellanox官方网站下载并安装适用于MCX653106A-HDA的驱动程序。 ```bash # 下载驱动程序 wget http://www.mellanox.com/downloads/BlueField/software_driver/MLNX_OFED_LINUX-5.5-1.0.3.2-ubuntu20.04-x86_64.tgz # 解压驱动程序 tar -xvzf MLNX_OFED_LINUX-5.5-1.0.3.2-ubuntu20.04-x86_64.tgz # 安装驱动程序 cd MLNX_OFED_LINUX-5.5-1.0.3.2-ubuntu20.04-x86_64 sudo ./mlnxofedinstall ``` 3. **加载驱动程序**： ```bash sudo modprobe mlx5_core sudo modprobe mlx5_ib sudo modprobe rdma_rxe ``` ### 3. 配置网络 1. **配置IPoIB**：如果使用IP over InfiniBand（IPoIB），需要配置IPoIB接口。 ```bash sudo vi /etc/network/interfaces ``` 添加以下内容： ``` auto ib0 iface ib0 inet static address 192.168.1.1 netmask 255.255.255.0 ``` 2. **配置RoCE**：确保交换机和网卡都支持RoCE，并配置相应的VLAN和优先级。 ```bash sudo mst start sudo mlxconfig -d /dev/mst/mt4119_pciconf0 set SRIOV_EN=1 sudo reboot ``` ### 4. 测试RoCE 1. **安装RDMA工具**： ```bash sudo apt-get install rdma-core perftest ``` 2. **运行测试**： ```bash ibv_rc_pingpong ``` ### 5. 优化配置 1. **调整网络参数**：根据需要调整网络参数，如MTU值、队列深度等。 2. **监控性能**：使用Mellanox提供的工具监控网络性能，确保RoCE正常工作。