跳转到主内容
新派编程网 - 新潮编程理念,全新技术课堂!

NVIDIA ConnectX8网卡端口聚合怎么做?

文章导读

大家好,我是林译川。今天我们来聊聊NVIDIA ConnectX8网卡端口聚合的问题。很多人在使用这款网卡时,可能会遇到端口配置的问题。别急,今天我们就来一步步解析如何进行端口聚合,让你轻松掌握这项技能。

基本信息

NVIDIA ConnectX-8 SuperNIC(C8180/C8240 型号)网卡,提供了多种网络端口配置,以满足不同环境和部署需求。通过将单个物理网络模块拆分为多个逻辑端口,可以优化端口配置,适应不同的网络拓扑需求。

典型用例

  • 负载均衡:通过多端口分摊流量,提升网络吞吐量。
  • 冗余备份:多端口冗余确保单点故障时网络稳定。

mlxconfig(操作系统层工具)

用途:在系统启动后修改配置,无需烧录固件,配置重启后保留。

默认行为:显示下次启动将加载的配置。

命令示例:通过mlxconfig -d set [参数]=[值]修改配置。

C8180 型号配置详情(单端口 OSFP 模块)

型号标识:OPN:900-9X81E-00NX-ST0 / 900-9X81E-00EX-ST0

配置 #1:默认配置(InfiniBand 端口)

端口数:1 个

速率:XDR 800Gb/s(4×200G/s)

协议:InfiniBand

生效条件:无需命令,默认启用,需断电重启生效。

配置 #2:2 个 400GbE 以太网端口

mlxconfig -d  set LINK_TYPE_P1=2         # 设置链路类型为以太网  
mlxconfig -d  set NUM_OF_PLANES_P1=0     # 禁用平面分割  
mlxconfig -d  set MODULE_SPLIT_M0[0..3]=1 MODULE_SPLIT_M0[4..7]=2 MODULE_SPLIT_M0[8..15]=FF  
mlxconfig -d  set NUM_OF_PF=2            # 设置物理功能数为2 

生效条件:执行命令后需断电重启。

配置 #3:8 个 100GbE 以太网端口

mlxconfig -d  set LINK_TYPE_P1=2         # 设置链路类型为以太网  
mlxconfig -d  set NUM_OF_PLANES_P1=0     # 禁用平面分割  
mlxconfig -d  set MODULE_SPLIT_M0[0]=1 MODULE_SPLIT_M0[1]=2 ... MODULE_SPLIT_M0[7]=8 MODULE_SPLIT_M0[8..15]=FF
mlxconfig -d  set NUM_OF_PF=8            # 设置物理功能数为8  

生效条件:执行命令后需断电重启。

C8240 型号配置详情(双 QSFP 模块)

型号标识:OPN:900-9X81Q-00CN-ST0

配置 #1:默认配置(2 个 400GbE 以太网端口)

端口数:2 个(每个 QSFP 模块 1 个端口)

速率:每个端口 400GbE

协议:以太网

生效条件:默认启用,需断电重启生效。

配置 #2:8 个 100GbE 以太网端口

配置第一个模块(M0)拆分为4个端口
mlxconfig -d  set MODULE_SPLIT_M0[0]=1 MODULE_SPLIT_M0[1]=2 MODULE_SPLIT_M0[2]=3 MODULE_SPLIT_M0[3]=4 MODULE_SPLIT_M0[4..15]=FF  
配置第二个模块(M1)拆分为4个端口
mlxconfig -d  set MODULE_SPLIT_M1[0]=1 MODULE_SPLIT_M1[1]=2 MODULE_SPLIT_M1[2]=3 MODULE_SPLIT_M1[3]=4 MODULE_SPLIT_M1[4..15]=FF  

生效条件:执行命令后需断电重启。

注意事项

  • 配置覆盖:新配置会覆盖旧配置,无法回退,需提前备份。
  • 风险提示:错误配置可能导致硬件损坏或系统故障。
  • 切换流程:切换非默认配置时,需先通过mlxconfig重置为默认值(命令:mlxconfig -d reset),再重新配置。

配置参数说明

  • LINK_TYPE_P1:设置端口协议类型(1=InfiniBand,2 = 以太网)。
  • MODULE_SPLIT_M[X]:定义模块通道分配,格式为MODULE_SPLIT_M[通道范围]=端口号,FF表示未分配通道。
  • NUM_OF_PF:设置物理功能(PF)数量,需与拆分后的端口数一致。

参考文档

端口拆分配置-NVIDIA Docs

小结与拓展

今天我们学习了如何进行NVIDIA ConnectX8网卡端口聚合的配置。端口聚合是网络优化的重要手段,希望这篇文章能帮助你更好地理解和应用这项技术。如果你对其他网络技术感兴趣,欢迎关注「新派编程网」(www.xjpbg.com),我们将持续为你带来更多优质内容。

我是林译川,我们下期再见!

相关文章