gvdlmjwje
V2EX  ›  服务器

生产环境 PVE 使用姿势请教

  •  
  •   gvdlmjwje · 4 days ago · 1238 views
    公司里面搞 vmware 替代,打算把所有的测试系统迁移到 PVE 上。
    传统制造业,服务器都是联想的 SR 系列,不搞 ceph (运维就我一个人玩不转)计划单机 PVE ,有硬件 RAID 卡不过都是 1G 缓存的,硬盘有 SATA SSD 也有 SAS HDD 。有几个问题请教大家:
    1.稳定性与 vSphere 比起来如何?
    2.是否推荐用默认的 lvm-thin ,之前没用过 lvm-thin ,有什么坑在里面吗?
    3.vm 格式用 raw 还是 qcow2 ?
    4.是否有必要买官方支持?
    5.如有其他经验或避坑的地方请不吝指出

    谢谢!
    19 replies    2026-05-20 09:06:49 +08:00
    my3157
        1
    my3157  
       4 days ago   ❤️ 1
    不瞎搞稳定性没问题, 不推荐 lvm, 除了系统盘也不要做硬件 raid, 推荐 zfs, 并且各个节点上的存储池名称保持一致, 比如 hdd 的存储池都叫 hdd, 备份,快照,节点迁移都很方便
    busier
        2
    busier  
       4 days ago via iPhone
    lvm-thin 坑就是严防 vg 空间写满

    写满的后果是 lv 变成只读 上面的所有虚拟机磁盘 lv 都无法回写文件系统缓存落盘

    这个如果能控制好 或者不介意 那么 lvm-thin 是功能、性能、管理各方面平衡最好的。
    busier
        3
    busier  
       4 days ago via iPhone
    如果你 2 用 lvm-thin

    那么 3 的问题不存在,虚拟机磁盘就是 lv

    如果你硬要用文件系统做底层存储 那么肯定用 qcow2 ,因为 raw 无法快照,还要依赖底层文件系统稀疏文件支持才能创建带空洞的磁盘镜像文件
    gvdlmjwje
        4
    gvdlmjwje  
    OP
       4 days ago
    @my3157 有几台利旧的机器 内存不是很足,才 64G ,用 zfs 的话是不是要吃掉很多内存?
    busier
        5
    busier  
       4 days ago via iPhone
    上面说的写满文件问题只是 lvm-thin 存在,如果用 lvm 没有问题,毕竟空间预分配了

    不过也不用太担心 其他虚拟机都是有类似情况,其根本原因就是虚拟机磁盘空间总计容量超物理空间可分配值,不占满没事,所以现实也不是每个人都出严重问题

    但是生产环境要考虑好
    gvdlmjwje
        6
    gvdlmjwje  
    OP
       4 days ago
    @busier 用 lvm-thin 的话,我只要按照给 VM 划的空间来算剩余容量而不是 WEB 界面里显示的存储实际容量来算,那就绝对不会存储超分吧?
    busier
        7
    busier  
       4 days ago via iPhone   ❤️ 1
    @gvdlmjwje 是这个意思 虚拟机磁盘容量总计不要超过 lvm-thin 总容量。即使虚拟机里面写满也没事

    简单说不要超额分配虚拟机磁盘
    gvdlmjwje
        8
    gvdlmjwje  
    OP
       4 days ago
    @busier 感谢老哥!
    busier
        9
    busier  
       4 days ago via iPhone
    @gvdlmjwje 另外 假如底层用 zfs 和 btrfs 这类 COW 文件系统我个人不推荐。

    应当在虚拟机内使用!

    这两个文件系统如果在虚拟机内用,可以处理磁盘位反转错误。找到对应的错误文件。

    可是如果在底层用的话,如果位反转了,岂不是整个磁盘镜像文件都视为有错误要修复

    而且如果遇到底层和虚拟机内同时使用 zfs btrfs ,那么就会承受双重 COW 磁盘性能惩罚
    my3157
        10
    my3157  
       4 days ago
    @gvdlmjwje #4 是, 不过要用也能用, 调整下配置, 限制下 zfs 的内存, 另外就是 64G 的机器, 上古时代的 CPU, 这种机器没有利旧价值了吧, 机架+电费, 还不如换新的
    gvdlmjwje
        11
    gvdlmjwje  
    OP
       4 days ago
    @busier ZFS 因为吃内存和 raid 卡需要调 HBA 或者 IT 模式的关系,肯定是不用了。还有你说的双重 ZFS 的问题,公司确实有一台跑 ZFS 的 turenas 虚拟机...
    gvdlmjwje
        12
    gvdlmjwje  
    OP
       4 days ago
    @my3157 可以两台并一台,不过 raid 卡还要刷 IT 或者开 HBA 模式,想了下还是算了,就用 lvm-thin 了。
    busier
        13
    busier  
       4 days ago via iPhone   ❤️ 1
    @gvdlmjwje

    提醒下

    ESXi 有修复模式 即安装盘引导可以修复 ESXi 系统 保留虚拟机

    而 PVE 没有(当然你熟悉 debian 可以手工修复),所以最好 PVE 系统和重要虚拟机独立硬盘存储池

    真要是 PVE 玩崩溃了 重装后导入之前的虚拟机磁盘也方便
    wxg4net
        14
    wxg4net  
       3 days ago
    生产 PVE 使用经验分享
    1 、下载一个支持 KVM 的 PE ,有了它可以方便做很多事情(比如物理操作系统直接迁移到虚拟机里面)
    2 、自动快照、使用存储服务器(光纤连接)、从虚拟机备份新建虚拟机时,是需要终端操作的
    3 、有些问题不知道怎么就发生了,但是需要你手动解决。比如 pve 集群无法成功启动故障,
    4 、测试系统运行在虚拟机里面,软件调试很方便(比如模拟串口、socket )
    5 、按照官方技术文档使用一般问题不大
    vopsoft
        15
    vopsoft  
       1 day ago via Android
    好多人玩 pve 也只是玩儿
    生产用的应当不多吧

    esxi 只要硬件不出问题 基本上也不坏,稳定性是经过验证的,至少我们这儿有的都持续运行 7 年了
    gvdlmjwje
        16
    gvdlmjwje  
    OP
       1 day ago
    @busier #13 感谢提醒,这样的话我 raid 要划两个 VD 一个给 pve 一个做存储
    gvdlmjwje
        17
    gvdlmjwje  
    OP
       1 day ago
    @wxg4net
    1.老哥说的支持 KVM 的 PVE 什么意思,是指能够识别 raid 卡的 PVE?有推荐的吗?
    2.备份我用 veeam
    3.还好,跑单机 pve ,不用集群
    gvdlmjwje
        18
    gvdlmjwje  
    OP
       1 day ago
    @vopsoft
    国内生产用 PVE 确实不多,大部分是跑 homelab
    esxi 确实稳,但是授权太贵了,不得不把部分 VM 迁移走
    gvdlmjwje
        19
    gvdlmjwje  
    OP
       1 day ago
    @gvdlmjwje #17 手滑打错了,我是指 PE
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5806 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 40ms · UTC 03:04 · PVG 11:04 · LAX 20:04 · JFK 23:04
    ♥ Do have faith in what you're doing.