V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
Chauncey09
V2EX  ›  问与答

关于 ESXi 虚拟机间拷贝速度慢的问题

  •  
  •   Chauncey09 · 2020-08-07 10:14:26 +08:00 · 5119 次点击
    这是一个创建于 1570 天前的主题,其中的信息可能已经有所发展或是发生改变。

    ESXi 下虚拟机配置如下:1 、三个千兆网口虚拟化,没有直通; 2 、安装 win10 和黑群晖两个虚拟机,分别分配一个虚拟网口,剩下一个是 ESXi 使用; 3 、win10 用的虚拟硬盘空间,通过 SSD 虚拟的,黑群晖的硬盘直通,也是 SSD

    问题:win10 和黑群晖之间拷贝文件速度跑不慢,具体表现如下: 1 、从黑群晖拷贝文件到 win10,一个 8G 的单文件,开始前 3G 大小速度正常,110M 左右,之后性能监控会发现 win10 磁盘利用率变为 100%,拷贝速度降到 40M 左右; 2 、从 win10 拷贝文件到黑群晖,从 110M 到 50M 左右来回波动,平均速度 70M 左右。

    整体感觉两种情况下,千兆都没有跑满。

    请问一下各位,上述两种情况是不是拷贝速度偏慢?应该如何解决呢?

    10 条回复    2021-10-22 05:38:51 +08:00
    Tarkky
        1
    Tarkky  
       2020-08-07 11:38:22 +08:00   ❤️ 1
    你说的
    “1 、三个千兆网口虚拟化,没有直通;”是什么意思?三个物理网卡做一个虚拟交换机的上行链路么?
    “2 、安装 win10 和黑群晖两个虚拟机,分别分配一个虚拟网口,剩下一个是 ESXi 使用;”你的 win10 和群晖有几块虚拟网卡?分布在几个交换机上?你说的剩下一个是 esxi 用,我理解,有一块千兆网卡单独做 vmkernel 的管理口了?
    根据你的信息,我理解,你建了一个虚拟交换机,分了三个物理千兆口,一个分给了 esxi host 做 vmkernel 管理口,剩下两个做了上行链路了。win10 和群晖各自有一块千兆虚拟网卡。对吗?
    如果以上属实,你 win10 和群晖之间的通讯走的是一个虚拟交换机?他们之间的通讯是不走物理网卡的,那么速率受你的两台机器的虚拟网卡速率和虚拟交换机的性能影响。
    而虚拟交换机的性能是受 CPU 性能影响的,所以你可以监控一下 host 的 CPU 占用率。另外一个问题,你 win10 的利用率 100%的问题,可能因素就多了,看看,主板芯片对 vt 的支持怎么样吧。
    dot2017
        2
    dot2017  
       2020-08-07 11:45:59 +08:00   ❤️ 1
    进 esxi ssh,看一下 esxtop 里 vmkernel 的流量,如果和操作系统里的一致,那说明就是这个性能了,没有 VAAI 的情况下,esxi 的数据复制效率就是很低的
    Chauncey09
        3
    Chauncey09  
    OP
       2020-08-07 11:58:33 +08:00
    @Tarkky 感谢您如此细致的回答!我现在建立了三个虚拟交换机,类型都是 vSwitch,每一个网卡对应一个虚拟交换机,其中一个给 esxi host 来用,剩下两个虚拟交换机分别给群晖和 win10 。刚按您说的看了一下 cpu 占用率,esxi host 占用率 29%,而虚拟 win10cpu 占用率 23%,都很低,只有虚拟 win10 的磁盘占用率逐渐升到 100%,对应拷贝速度从 110M 降到 40M 左右。
    594duck
        4
    594duck  
       2020-08-07 12:11:55 +08:00   ❤️ 1
    win10 磁盘利用率变为 100% 。磁盘 IO 不够了,前期快是因为可能有 RAID cache,后面打满了。回写速度不够吧。

    什么磁盘,什么 RIAD 自己算算理论 IO 在多少。
    Chauncey09
        5
    Chauncey09  
    OP
       2020-08-07 12:35:31 +08:00 via iPhone
    @594duck win10 的磁盘是 ssd 虚拟化用的,没有直通给 win10 使用 这个虚拟化的应该怎么来算呢?
    Tarkky
        6
    Tarkky  
       2020-08-07 13:07:20 +08:00
    @Chauncey09 #3
    按你的应用来说,没必要这样分虚拟交换机啊。分三个,系统资源就占用了三份啊。你完全可以做一台虚拟交换机啊。然后 vmkernel 指定一个上联链路,剩下两个做业务的上联链路啊。你这样的话,你的 win10 到群晖的流量就走物理网卡了。不知道你还有没有其它 vm,流量就更挤占了啊。另外,你的硬盘走的什么连接方式?主板的 m2 接口? sata ?还是 hba 卡? raid 卡?等等。
    Chauncey09
        7
    Chauncey09  
    OP
       2020-08-07 13:44:12 +08:00 via iPhone
    @Tarkky 感谢🙏,我再仔细排查一下问题!
    594duck
        8
    594duck  
       2020-08-07 14:13:30 +08:00
    @Chauncey09 你的虚拟机的物理磁盘是什么样的,虚拟磁盘是什么样的


    你这个问题和虚拟交换机之类的问题可能性较低,偏磁盘 IO
    yingfengi
        9
    yingfengi  
       2020-08-07 15:07:25 +08:00 via Android
    看起来还是磁盘 IO 的问题。
    justaname
        10
    justaname  
       2021-10-22 05:38:51 +08:00
    这个问题我也遇到了,跟磁盘 IO 没任何关系,被网络链路卡了性能。你得把你主机的虚拟网卡和 NAS 的虚拟机网卡的 MTU 都改到 9000,另外如果有驱动的话改成 vmxnet3 的万兆虚拟网卡,SSD 起码能跑 400-500M 以上吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1427 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 17:04 · PVG 01:04 · LAX 09:04 · JFK 12:04
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.