Linux 下 VM 使用 vfio-pci 进行 PCIe Passthrough

在此记录一下如何在 Linux 下启用 PCIe Passthrough 给虚拟机提供宿主 PCIe 设备。

我用的是 Ubuntu 22.04，现在新的系统内核一般内置了 vfio-pci 模块，可以直接使用。以 Intel Xeon E5-2670 为例子。

通过内核启动参数使用

需要修改 /etc/defaults/grub，给 GRUB_CMDLINE_LINUX_DEFAULT 增加如下参数：

1	iommu=pt intel_iommu=on vfio-pci.ids={DEVICE_ID_1},{DEVICE_ID_N} vfio-pci.disable_idle_d3=1 kvm_intel.nested=1 kvm_intel.emulate_invalid_guest_state=0

intel 相关的参数是 Intel 专用，amd 的需要参阅参考资料对应修改。

vfio-pci.ids= 后填设备的 ID，可以通过 lspci -nnv 看到，例如我的 GTX560：

04:00.0 VGA compatible controller [0300]: NVIDIA Corporation GF114 [GeForce GTX 560] [10de:1201] (rev a1) (prog-if 00 [VGA controller])
        Subsystem: NVIDIA Corporation GF114 [GeForce GTX 560] [10de:0895]
        Physical Slot: 5
        Flags: fast devsel, IRQ 11, IOMMU group 29
        Memory at cc000000 (32-bit, non-prefetchable) [disabled] [size=32M]
        Memory at d0000000 (64-bit, prefetchable) [disabled] [size=128M]
        Memory at d8000000 (64-bit, prefetchable) [disabled] [size=64M]
        I/O ports at c000 [disabled] [size=128]
        Expansion ROM at ce000000 [disabled] [size=512K]
        Capabilities: <access denied>
        Kernel driver in use: nouveau
        Kernel modules: nvidiafb, nouveau

04:00.1 Audio device [0403]: NVIDIA Corporation GF114 HDMI Audio Controller [10de:0e0c] (rev a1)
        Subsystem: NVIDIA Corporation GF114 HDMI Audio Controller [10de:0895]
        Physical Slot: 5
        Flags: fast devsel, IRQ 7, IOMMU group 29
        Memory at ce080000 (32-bit, non-prefetchable) [disabled] [size=16K]
        Capabilities: <access denied>
        Kernel driver in use: snd_hda_intel
        Kernel modules: snd_hda_intel

04:00.0 是设备物理位置，也就是插槽的位置，只要不换插槽就不会变。设备名称后面的 10de:1201 就是设备 ID。如果显卡带音频控制器，需要一同 passthrough。这里我就应该填 vfio-pci.ids=10de:1201,10de:0e0c。

修改完成后执行 sudo update-grub 更新 GRUB 配置。重启之后通过 lspci -nnv 查，就能看到对应设备的 Kernel driver in use 变成了 vfio-pci 了：

04:00.0 VGA compatible controller [0300]: NVIDIA Corporation GF114 [GeForce GTX 560] [10de:1201] (rev a1) (prog-if 00 [VGA controller])
        Subsystem: NVIDIA Corporation GF114 [GeForce GTX 560] [10de:0895]
        Physical Slot: 5
        Flags: fast devsel, IRQ 11, IOMMU group 29
        Memory at cc000000 (32-bit, non-prefetchable) [disabled] [size=32M]
        Memory at d0000000 (64-bit, prefetchable) [disabled] [size=128M]
        Memory at d8000000 (64-bit, prefetchable) [disabled] [size=64M]
        I/O ports at c000 [disabled] [size=128]
        Expansion ROM at ce000000 [disabled] [size=512K]
        Capabilities: <access denied>
        Kernel driver in use: vfio-pci
        Kernel modules: nvidiafb, nouveau

04:00.1 Audio device [0403]: NVIDIA Corporation GF114 HDMI Audio Controller [10de:0e0c] (rev a1)
        Subsystem: NVIDIA Corporation GF114 HDMI Audio Controller [10de:0895]
        Physical Slot: 5
        Flags: fast devsel, IRQ 7, IOMMU group 29
        Memory at ce080000 (32-bit, non-prefetchable) [disabled] [size=16K]
        Capabilities: <access denied>
        Kernel driver in use: vfio-pci
        Kernel modules: snd_hda_intel

当即启用

当即启用其实就是更改设备当前的驱动。更改之前需要关闭所有用到目的显卡的软件例如 xserver 以及 nVidia 相关的服务。先进入到其他的控制台例如 Ctrl + Alt + F2 进入 tty2，之后关闭对应的服务，更换驱动。

或许还需要卸载掉 nVidia 相关的驱动，可以参考这个链接的问题：VGA passthrough with QEMU and KVM - Nothing on screen

更换驱动需要知道当前设备在使用什么驱动。可以通过 ls -nnv 查看，例如我的 NVS 450：

07:00.0 3D controller [0302]: NVIDIA Corporation G98 [Quadro NVS 450] [10de:06fa] (rev a1)
        Subsystem: NVIDIA Corporation G98 [Quadro NVS 450] [10de:0619]
        ...
        Kernel driver in use: nouveau
        Kernel modules: nvidiafb, nouveau

08:00.0 VGA compatible controller [0300]: NVIDIA Corporation G98 [Quadro NVS 450] [10de:06fa] (rev a1) (prog-if 00 [VGA controller])
        Subsystem: NVIDIA Corporation G98 [Quadro NVS 450] [10de:0619]
        ...
        Kernel driver in use: nouveau <<< 这个
        Kernel modules: nvidiafb, nouveau

它正在使用 nouveau，且需要记下显卡的设备物理地址（也就是 bus id），这里同时带了 3D controller，所以是 07:00.0 和 08:00.0。

然后到 /sys/bus/pci/drivers 下，进入驱动名称的文件夹。我这里是 nueveau 在用显卡，所以完整路径为 /sys/bus/pci/drivers/nueveau。可以看到以上 id 都在这个文件夹下：

1 2	cattenlinger@Z420:/sys/bus/pci/drivers/nouveau$ ls 0000:07:00.0 0000:08:00.0 bind module new_id remove_id uevent unbind

需要做的就是解绑驱动，给 unbind 这个文件喂对应的 ID：

1
2
3

cd /sys/bus/pci/drivers/nueveau
echo 0000:07:00.0 > ./unbind
echo 0000:08:00.0 > ./unbind

这样就能卸载驱动了。然后得挂上 vfio-pci 的驱动。进入 vfio-pci 的驱动文件夹，记下显卡的设备 ID，并喂给 new_id：

1
2
3

cd /sys/bus/pci/drivers/vfio-pci
# 第一个是 vendor id，第二个是 product id。
echo 10de 06fa > ./new_id

这样就挂上了。

把设备分配给 VM

我使用的是 QEMU，virt-manager 一样，只是换成了图形化界面。

给 QEMU 命令添加上这些个设备：

1 2	-device vfio-pci,host=04:00.0,multifunction=on,romfile="$FIRMWARE_DIR/vbios.bin" -device vfio-pci,host=04:00.1

小插曲

如果显卡比较老（10XX 系列以下，amd 的我不熟不知道），还需要 vbios 文件，就是上面第一条命令的 romfile 参数。这个操作比较麻烦，可以参考这个连接：Preparation and placing of the ROM file。如果的确不方便用 Windows，也没法通过对应的 firmware upgrader 获取 vbios，可以尝试去 TECHPOWERUP - VGA VIOS 下载，但其实不建议，因为每台机子的 vbios 可能都不太相同。

如果不方便用 GPU-Z ，也可以用 CPU-Z。CPU-Z 出来的文件是 ASCII 的 dump，还需要手动转换为 binary。这里建议使用这个命令：