文章导读
大家好,我是林译川。今天我们来聊聊NVIDIA ConnectX8网卡端口聚合的问题。很多人在使用这款网卡时,可能会遇到端口配置的问题。别急,今天我们就来一步步解析如何进行端口聚合,让你轻松掌握这项技能。
基本信息
NVIDIA ConnectX-8 SuperNIC(C8180/C8240 型号)网卡,提供了多种网络端口配置,以满足不同环境和部署需求。通过将单个物理网络模块拆分为多个逻辑端口,可以优化端口配置,适应不同的网络拓扑需求。
典型用例
- 负载均衡:通过多端口分摊流量,提升网络吞吐量。
- 冗余备份:多端口冗余确保单点故障时网络稳定。
mlxconfig(操作系统层工具)
用途:在系统启动后修改配置,无需烧录固件,配置重启后保留。
默认行为:显示下次启动将加载的配置。
命令示例:通过mlxconfig -d set [参数]=[值]修改配置。
C8180 型号配置详情(单端口 OSFP 模块)
型号标识:OPN:900-9X81E-00NX-ST0 / 900-9X81E-00EX-ST0
配置 #1:默认配置(InfiniBand 端口)
端口数:1 个
速率:XDR 800Gb/s(4×200G/s)
协议:InfiniBand
生效条件:无需命令,默认启用,需断电重启生效。
配置 #2:2 个 400GbE 以太网端口
mlxconfig -d set LINK_TYPE_P1=2 # 设置链路类型为以太网
mlxconfig -d set NUM_OF_PLANES_P1=0 # 禁用平面分割
mlxconfig -d set MODULE_SPLIT_M0[0..3]=1 MODULE_SPLIT_M0[4..7]=2 MODULE_SPLIT_M0[8..15]=FF
mlxconfig -d set NUM_OF_PF=2 # 设置物理功能数为2
生效条件:执行命令后需断电重启。
配置 #3:8 个 100GbE 以太网端口
mlxconfig -d set LINK_TYPE_P1=2 # 设置链路类型为以太网
mlxconfig -d set NUM_OF_PLANES_P1=0 # 禁用平面分割
mlxconfig -d set MODULE_SPLIT_M0[0]=1 MODULE_SPLIT_M0[1]=2 ... MODULE_SPLIT_M0[7]=8 MODULE_SPLIT_M0[8..15]=FF
mlxconfig -d set NUM_OF_PF=8 # 设置物理功能数为8
生效条件:执行命令后需断电重启。
C8240 型号配置详情(双 QSFP 模块)
型号标识:OPN:900-9X81Q-00CN-ST0
配置 #1:默认配置(2 个 400GbE 以太网端口)
端口数:2 个(每个 QSFP 模块 1 个端口)
速率:每个端口 400GbE
协议:以太网
生效条件:默认启用,需断电重启生效。
配置 #2:8 个 100GbE 以太网端口
配置第一个模块(M0)拆分为4个端口
mlxconfig -d set MODULE_SPLIT_M0[0]=1 MODULE_SPLIT_M0[1]=2 MODULE_SPLIT_M0[2]=3 MODULE_SPLIT_M0[3]=4 MODULE_SPLIT_M0[4..15]=FF
配置第二个模块(M1)拆分为4个端口
mlxconfig -d set MODULE_SPLIT_M1[0]=1 MODULE_SPLIT_M1[1]=2 MODULE_SPLIT_M1[2]=3 MODULE_SPLIT_M1[3]=4 MODULE_SPLIT_M1[4..15]=FF
生效条件:执行命令后需断电重启。
注意事项
- 配置覆盖:新配置会覆盖旧配置,无法回退,需提前备份。
- 风险提示:错误配置可能导致硬件损坏或系统故障。
- 切换流程:切换非默认配置时,需先通过mlxconfig重置为默认值(命令:mlxconfig -d reset),再重新配置。
配置参数说明
- LINK_TYPE_P1:设置端口协议类型(1=InfiniBand,2 = 以太网)。
- MODULE_SPLIT_M[X]:定义模块通道分配,格式为MODULE_SPLIT_M[通道范围]=端口号,FF表示未分配通道。
- NUM_OF_PF:设置物理功能(PF)数量,需与拆分后的端口数一致。
参考文档
端口拆分配置-NVIDIA Docs
小结与拓展
今天我们学习了如何进行NVIDIA ConnectX8网卡端口聚合的配置。端口聚合是网络优化的重要手段,希望这篇文章能帮助你更好地理解和应用这项技术。如果你对其他网络技术感兴趣,欢迎关注「新派编程网」(www.xjpbg.com),我们将持续为你带来更多优质内容。
