一 背景

现场Dell R740xd2机器使用网卡Broadcom 57412 10Gb SFP+，固件版本22.21.06.80。bnxt_en.ko内核模块是该网卡的驱动，我们默认的驱动版本为1.8.0，而固件版本22.21.06.80需要1.10.2的driver。

本文主要是记录一些操作步骤，后续出现类似驱动过旧的问题可以快速解决。

二 临时解决

  1. 现场通过下载Broadcom官方提供的tar包在生产节点上直接make编译出新的bnxt_en.ko
  2. 替换/lib/modules/$(uname -r)/kernel/drivers/net/ethernet/broadcom/bnxt/bnxt_en.ko
  3. 通过modprobe -r bnxt_en和modprobe bnxt_en重新加载新的模块，可以通过modinfo bnxt_en查看module的信息
  4. 使用depmod -a更新module加载的依赖
  5. bnxt_en.ko是网络驱动，在内核init on initramfs 阶段就需要加载，因此还要执行update-initramfs -u来更新initramfs image。

三 长久解决

3.1 backport内核代码（失败）

  1. 1.10.2的驱动在linux内核6.1中才有支持，而我们的内核版本是4.14，尝试直接cherry-pick，冲突过多失败。
  2. 下载并解压红帽4.10内核的iso，替换broadcom/bnxt_en目录下相关文件进行编译。这里记录下编译方式，整体编译内核速度过慢，我们可以在编译环境编译某一个modules：
    1. 复制/usr/src/$(uname -r)/Module.symvers到编译的内核目录drivers/net/ethernet/broadcom/bnxt/下面
    2. 执行make modules SUBDIRS=drivers/net/ethernet/broadcom/bnxt就可以编译啦

结果同样差距太多，很多改动涉及到公共文件的接口，故放弃。

3.2 dkms（成功）

既然使用源码包可以直接在4.14内核环境上进行编译，那使用dkms（Dynamic Kernel Module Support）来在需要的时候编译安装是一个不错的选择，而且bnxt_en体量小，编译很快，安装系统时不会占用太多时间。

制作dkms的deb包

解压netxtreme-bnxt_en-1.10.2-224.0.157.0.tar源码包，目录结构如下：

drwxrwxr-x  4 18896 dialout 4096 Mar 29 11:59 ./
drwxr-xr-x 18 root  root    4096 Mar 27 18:03 ../
lrwxrwxrwx  1 18896 dialout   27 Nov  3 04:25 bnxt_en -> bnxt_en-1.10.2-224.0.157.0//
drwxrwxr-x  5 18896 dialout 4096 Mar 30 10:01 bnxt_en-1.10.2-224.0.157.0/
lrwxrwxrwx  1 18896 dialout   20 Nov  3 04:25 bnxt_re -> bnxt_re-224.0.157.0//
drwxrwxr-x  2 18896 dialout 4096 Mar 27 19:08 bnxt_re-224.0.157.0/
-rw-r--r--  1 root  root     309 Mar 27 19:12 dkms.conf
-rw-rw-r--  1 18896 dialout  537 Mar 27 17:18 Makefile

其中dkms.conf是我们创建并加入的，内容如下：

PACKAGE_NAME="netxtreme-bnxt_en"
PACKAGE_VERSION="1.10.2"
CLEAN="make clean"
MAKE="make"
BUILT_MODULE_NAME[0]="bnxt_en"
BUILT_MODULE_NAME[1]="bnxt_re"
BUILT_MODULE_LOCATION[0]="bnxt_en"
BUILT_MODULE_LOCATION[1]="bnxt_re"
DEST_MODULE_LOCATION[0]="/updates"
DEST_MODULE_LOCATION[1]="/updates"
AUTOINSTALL="yes"

根据dkms的要求，我们需要将源码包移到/usr/src目录下，即当前源码包路径/usr/src/netxtreme-bnxt_en-1.10.2

  • PACKAGE_NAME：指定要编译和安装的模块的名称
  • PACKAGE_VERSION：模块版本
  • CLEAN：删除先前编译生成的内核模块文件和相关构建文件
  • MAKE：根据Makefile编译
  • BUILT_MODULE_NAME：模块名，也就是编译出来的bnxt_en.ko
  • BUILT_MODULE_LOCATION：存放的位置，这里是/usr/src/netxtreme-bnxt_en-1.10.2/bnxt_en/
  • DEST_MODULE_LOCATION：将模块放到内核目录的哪个文件夹下，这里是/lib/modules/$(uname -r)/updates
  • AUTOINSTALL：安装完毕后自动加载该模块

接下来就可以验证dkms是否可以使用了，以下指令：

# 可以查看当前的dkms模块的情况
dkms status

# 添加到dkms树，此时是added状态
dkms add -m netxtreme-bnxt_en -v 1.10.2
# 编译，成功是built状态
dkms build -m netxtreme-bnxt_en -v 1.10.2
# 安装，成功是installed状态
dkms install -m netxtreme-bnxt_en -v 1.10.2

# 其他指令
# 移除
dkms remove netxtreme-bnxt_en/1.10.2 --all
# 打包deb
dkms mkdeb netxtreme-bnxt_en/1.10.2
# 查看module信息
modinfo bnxt_en
# 重新生成module加载依赖关系
depmod -a
# 加载module
modprobe bnxt_en
# 移除module
modprobe -r bnxt_en

根据dkms status确定dkms安装没有问题，再通过modinfo确认module的信息没问题后，我们就可以将dkms模块打包成deb（ubuntu）了，指令dkms mkdeb netxtreme-bnxt_en/1.10.2，我们可以得到一个名为netxtreme-bnxt-en-dkms_1.10.2_all.deb的deb，这样就可以在安装系统或升级阶段进行安装了。

其他问题

如果制作好的deb存在问题，需要在安装前后做一些清理或加载的工作后才能工作。这个时候可以将netxtreme-bnxt-en-dkms_1.10.2_all.deb解开，具体操作如下：

# 创建工作目录
mkdir -p extract/DEBIAN && mkdir build

# 提取deb控制文件
dpkg -e netxtreme-bnxt-en-dkms_1.10.2_all.deb extract/DEBIAN

# 提取源文件
dpkg -x netxtreme-bnxt-en-dkms_1.10.2_all.deb extract/

提取后extract目录结构如下:

.
├── DEBIAN
│   ├── control
│   ├── md5sums
│   ├── postinst
│   └── prerm
└── usr
    ├── share
    │   └── netxtreme-bnxt_en-dkms
    │       ├── netxtreme-bnxt_en-1.10.2.dkms.tar.gz
    │       └── postinst
    └── src

我们通过DEBIAN内的文件对deb安装前或安装后进行配置，常用的有preinst、postinst、prerm 和 postrm

  • preinst 脚本在软件包被安装之前运行，通常用来检查一些先决条件或配置
  • postinst 脚本在软件包安装完成后运行，通常进行配置更新加载等操作
  • prerm和postrm脚本通常对软件包卸载前后做停止服务，清除信息等操作

制作好控制文件后使用指令dpkg-deb -b extract/ build在build目录下重新生成netxtreme-bnxt-en-dkms_1.10.2_all.deb软件包。