PVE 搞 PCIe 直通， IOMMU Group 过大怎么办？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› DigitalOcean

这是一个创建于 395 天前的主题，其中的信息可能已经有所发展或是发生改变。

主板是 ASUS prime b350-plus ，系统是 PVE8

已经试过加内核参数pcie_acs_override=downstream

root@pve ~# uname -a
Linux pve 6.2.16-15-pve #1 SMP PREEMPT_DYNAMIC PMX 6.2.16-15 (2023-09-28T13:53Z) x86_64 GNU/Linux

root@pve ~# cat /etc/default/grub
GRUB_DEFAULT=0
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR=`lsb_release -i -s 2> /dev/null || echo Debian`
GRUB_CMDLINE_LINUX_DEFAULT="quiet iommu=pt pcie_acs_override=downstream"
GRUB_CMDLINE_LINUX=""

PCIe 插了 w2100 ，LSI SAS2308 。现想将 lsi sas 卡直通到 NAS 虚拟机，然而我的 iommu 将 USB 控制器、SATA 控制器、有线网卡、和 PCIe SAS 卡全分在了同一组:

root@pve ~# iommu.sh
...
Group 13:       [144d:a808] [R] 01:00.0  Non-Volatile memory controller           NVMe SSD Controller SM981/PM981/PM983
Group 14:       [1022:43bb] [R] 02:00.0  USB controller                           300 Series Chipset USB 3.1 xHCI Controller
USB:            [1d6b:0002]              Bus 001 Device 001                       Linux Foundation 2.0 root hub
USB:            [1d6b:0003]              Bus 002 Device 001                       Linux Foundation 3.0 root hub
                [1022:43b7]     02:00.1  SATA controller                          300 Series Chipset SATA Controller
                [1022:43b2]     02:00.2  PCI bridge                               Device 43b2
                [1022:43b4] [R] 03:00.0  PCI bridge                               300 Series Chipset PCIe Port
                [1022:43b4]     03:01.0  PCI bridge                               300 Series Chipset PCIe Port
                [1022:43b4]     03:04.0  PCI bridge                               300 Series Chipset PCIe Port
                [10ec:8168] [R] 04:00.0  Ethernet controller                      RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller
                [1b21:1080] [R] 05:00.0  PCI bridge                               ASM1083/1085 PCIe to PCI Bridge
                [1000:0087] [R] 07:00.0  Serial Attached SCSI controller          SAS2308 PCI-Express Fusion-MPT SAS-2
Group 15:       [1002:6608] [R] 08:00.0  VGA compatible controller                Oland GL [FirePro W2100]
                [1002:aab0] [R] 08:00.1  Audio device                             Oland/Hainan/Cape Verde/Pitcairn HDMI Audio [Radeon HD 7000 Series]
...

意味着我只能将 group 14 的设备全部直通到 nas ，这明显是不现实的。还有什么能将 SAS 控制器直通的方案吗？

3 条回复 • 2023-10-23 22:58:08 +08:00

sky96111

2023-10-23 10:26:15 +08:00

查阅过 https://vfio.blogspot.com/2014/08/iommu-groups-inside-and-out.html 的评论
这是 lspci -vvvnn
https://pastebin.com/sqQdVZQ8

20015jjw

2023-10-23 20:26:32 +08:00 via iPhone

这主板真的配吗..

sky96111

2023-10-23 22:58:08 +08:00

@20015jjw 淘汰旧设备废物利用嘛。
最后解决了，是主板的问题。只有显卡那条 PCIe 是走 CPU 的，其他都是走的南桥所以都在同一个 iommu 组。
更换了一下插槽顺序，现在 SAS 控制器是单独分组了