V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
long1and
V2EX  ›  NAS

分享刚组的 12 代 i3 AIO 服务器兼 NAS 存储

  •  1
     
  •   long1and · 2023-09-25 11:25:39 +08:00 · 5049 次点击
    这是一个创建于 423 天前的主题,其中的信息可能已经有所发展或是发生改变。
    cpu i3 12100 600
    主板 铭瑄 B760M 699
    硬盘 自带 0
    散热 利民 AX120 R SE 63.5
    显卡 UHD730 0
    电源 全汉 350w 0
    风扇 利民 TL-C12C *2 32
    内存 16G DDR4*4 260
    机箱 见方 499
    拓展卡 SSU 四口 2.5G 网卡 230
    JMB585 M2 转 sata 99
    sata 线材 30
    2512.5

    配置如上,内存 16*2 ,电源,固态为原 nas 淘汰继续使用,不计入价格

    目前硬盘位 3 个 4T ,2 个 16T ,1 个 14T 固态 3 个 1T

    安装系统为 PVE8.0 ,开了五台虚拟机 虚拟机 1:win11 作为主要 nas 系统,直通 sata 控制器,管理 5 块硬盘,组 raid1 存重要数据,开 smb 和 nfs 共享 之所以用 win11 还是有远程桌面的需求

    虚拟机 2:开了黑群晖 7.2 主要用于照片同步,RDM 直通了一块 4T 硬盘,再通过 drives 同步到 raid1

    虚拟机 3:开了 openwrt 提供旁路由服务,把主路由剥离出了 aio 服务器,防止断网

    虚拟机 4:开了 lxc 容器的 debian ,可以直接调用核显进行解码,主要用于 docker 服务,开了 jellyfin 、photoprism 等服务。

    虚拟机 5:正常虚拟机的 debian ,用于内网 dns 服务,做了 adguardhome+mosdns 的组合,独立出 lxc 的 docker 也是方便管理。涉及到网络服务还是以稳定为先。

    目前 UHD730 核显驱动通过 i915dkms 解决了,PVE 能 sriov 出 7 个以内的 vgpu 进行直通,解码转码性能非常强

    Snipaste_2023-09-25_11-21-32.png

    20230923131016_IMG_1190.JPG

    20230923131059_IMG_1194.JPG

    20230923131111_IMG_1195.JPG

    54 条回复    2023-12-27 14:29:49 +08:00
    x86
        1
    x86  
       2023-09-25 11:29:32 +08:00
    机箱挺好看
    binmiui
        2
    binmiui  
       2023-09-25 11:31:20 +08:00
    AIO=AIB
    UHD730 固然好,但是还是不如直接上个 N 卡
    long1and
        3
    long1and  
    OP
       2023-09-25 11:33:04 +08:00
    @binmiui 之前集成了 ikuai 主路由服务,现在买了 R66S 把主路由独立出来了,这样即使 AIO 崩了,不至于影响网络。虽然我上一台 win server aio 服务器集成主路由,四年了也没有 boom 过了。
    formant
        4
    formant  
       2023-09-25 11:35:06 +08:00
    机箱看着不错
    Bazingal
        5
    Bazingal  
       2023-09-25 11:38:23 +08:00
    你这需求上个 G6900 也够了吧
    long1and
        6
    long1and  
    OP
       2023-09-25 11:41:19 +08:00
    补充功耗情况:这台 12 代 AIO 服务器待机在 55-60w 之间,6 盘+2sata 固态+1*m.2
    我监控了全部网络设备的情况
    一台 AIO NAS+光猫+小米路由器+京东云路由器+8 口 2.5G+R66S 主路由+一个米家监控,待机功耗是 100w 左右
    long1and
        7
    long1and  
    OP
       2023-09-25 11:42:19 +08:00
    @Bazingal 确实是够,感觉目前的服务用 N 系列都够。但是想着战未来嘛
    totoro625
        8
    totoro625  
       2023-09-25 11:46:19 +08:00
    1 、内存有点便宜,其他没问题
    我吃过劣质内存的亏,一定要买贵的内存

    2 、核显能直通的情况下还需要在 lxc 容器跑 docker 吗?
    我也打算组一个 11 代 i5 AIO 服务器兼 NAS 存储,看 docker 官方不建议在 lxc 容器跑 docker
    photoprism 不用显卡也能跑,看你能直通核显,我也是 UHD730 可以试试

    3 、提问:虚拟机 2 的 raid1 是在哪里的 raid1 ?
    long1and
        9
    long1and  
    OP
       2023-09-25 11:50:39 +08:00   ❤️ 1
    @totoro625 1 、内存确实都会杂牌。。后续进一步降价再做更换吧
    2 、主要 lxc 调用核显还是更方便一些,主要是群晖的内核版本太低,虽然能直通但是驱动不了 UHD730 。直通其他 linux 是可行的,但如果直通到虚拟的 linux 里,还需要再装一遍 i915dkms 的驱动,没有 lxc 直接调用宿主机来的方便。
    3 、raid1 是通过 win11 的存储池建立的 4T*2 的 raid1 。除了一块 4T 给群晖用于存储空间,主要的 nas 文件共享还是通过 win11 建立 smb 、nfs 和 webdav 共享的。
    seekafter
        10
    seekafter  
       2023-09-25 12:29:51 +08:00
    win11 用的 RDP 吗,局域网还是外网啊.延迟/fps 方便说下吗
    long1and
        11
    long1and  
    OP
       2023-09-25 12:31:57 +08:00 via Android
    @seekafter 是的 rdp ,局域网和外网都很流畅啊。外网用的 zerotier ,打洞成功延迟在 5ms 以内吧。局域网基本和用本地电脑没啥区别。fps 应该都是 60
    seekafter
        12
    seekafter  
       2023-09-25 12:36:32 +08:00
    @long1and 我用的 unraid,外网打洞后也能 60,但是在里面用 idea 就是卡,反应慢
    goodryb
        13
    goodryb  
       2023-09-25 12:46:36 +08:00
    请问下现在 12 代的核显虚拟化复杂吗,之前看好多都说有问题
    long1and
        14
    long1and  
    OP
       2023-09-25 13:00:04 +08:00
    @goodryb 不复杂啦,基于内核编译 dkms i915 驱动就行了,b 站博客都有很多教程。但如果要直通 hdmi 输出,可能还有点麻烦。
    goodryb
        15
    goodryb  
       2023-09-25 13:09:24 +08:00
    @long1and #14 多谢。 要是 HDMI 能支出 windows 虚拟机就完美了,之前看老机器上面可以搞,新核显估计还得在看看
    long1and
        16
    long1and  
    OP
       2023-09-25 13:11:33 +08:00
    @goodryb #15 能实现了,可以参考 b 站老高的教程。但是我没有这方面需求,所以没有折腾过。
    ltkun
        17
    ltkun  
       2023-09-25 13:12:14 +08:00 via Android
    730 虚拟化稳定吗?我 630 的虚拟化 win10 开几天就死了,所以搞了快 1080ti 虚拟化,其实待机也就不到 20w ,但是性能肯定天差地别了
    long1and
        18
    long1and  
    OP
       2023-09-25 13:13:25 +08:00
    @ltkun 稳定的,目前跑了一个多星期了,没有发现死机的情况。我功耗比较敏感哈哈哈,所以没有插独显~
    2NUT
        19
    2NUT  
       2023-09-25 13:20:53 +08:00   ❤️ 1
    少用虚拟机,多原生部署,成本可以降低一半
    javen73
        20
    javen73  
       2023-09-25 13:24:50 +08:00
    机箱真好看
    hanierming
        21
    hanierming  
       2023-09-25 13:33:10 +08:00
    我的 12100+铭瑄 B660M ,去年双十一之前弄的,1400 多,看来降了不少啊!内存我是用的杂牌 32*2 ,不过我的机箱比较喜欢,是 tank 的 6 盘的,就是太贵了,800 出头。系统用的 unraid ,挺好的。功耗 40 多 W ,两个 4T 的盘
    long1and
        22
    long1and  
    OP
       2023-09-25 13:46:40 +08:00
    @hanierming 对的。。板 U 固态 内存降价都是比较明显的,我之前也想用 tank 的机箱,后来看到见方众筹,支持 atx 电源我就换了见方,哈哈哈
    ltkun
        23
    ltkun  
       2023-09-25 13:49:10 +08:00 via Android
    ![Screenshot_2023-09-25-13-44-41-220_com]( https://cdn.staticaly.com/gh/ltkun/img@master/20230925/Screenshot_2023-09-25-13-44-41-220_com.microsoft.rdc.androidx.340lyjl95ki0.jpg)
    我对功耗也敏感得很 所以第一台 nas 上 9900tes 加十个机械硬盘 4 个 nvme 128g 内存待机才 80w 这台是 9900kes 硬盘用的 sata ssd 的 raidz3 得分不高 新版鲁大师显卡比之前得分还强点 cpu 弱了
    ltkun
        24
    ltkun  
       2023-09-25 13:52:53 +08:00 via Android
    stcQ2G13k9yxep40
        25
    stcQ2G13k9yxep40  
       2023-09-25 15:21:31 +08:00
    网线稍微理一理,用扎带扎起来吧,做好每根线标签。
    long1and
        26
    long1and  
    OP
       2023-09-25 15:23:58 +08:00
    @qishouvip2022 哈哈哈谢谢提醒,已经购置了统一长度的网线,计划下一步就是理线
    wjx0912
        27
    wjx0912  
       2023-09-25 15:35:47 +08:00
    win11 作为主要 nas 系统,直通 sata 控制器: 可以直通到某个分区吗,还是必须要用整个硬盘?
    long1and
        28
    long1and  
    OP
       2023-09-25 15:41:08 +08:00
    @wjx0912 直通 sata 控制器,就是 win11 直接管理硬件了,控制器下的所有硬盘的管理权限在 win11 ,能读取到 smart 信息。。相当于物理上属于 win11 了
    好像没办法直通某个分区
    jonty
        29
    jonty  
       2023-09-25 17:01:15 +08:00
    机箱不错。。甚至咱俩的 nas 配置都很接近,现在机箱是银欣珍宝 11 ,打算换成你这个机箱了。
    Bazingal
        30
    Bazingal  
       2023-09-25 17:05:32 +08:00
    @long1and #16 GPU 虚拟化以后还能输出?我一直以为必须直通才行的
    shekou
        31
    shekou  
       2023-09-25 17:07:42 +08:00
    谢谢分享,有必要搞那么多路由吗?
    0x663
        32
    0x663  
       2023-09-25 17:11:40 +08:00
    见方这个机箱我看只有黑色的,OP 在哪个店购买的
    dolphinT
        33
    dolphinT  
       2023-09-25 17:31:10 +08:00
    做旁路由要这个 4 口 2.5g 扩展卡干啥
    Eytoyes
        34
    Eytoyes  
       2023-09-25 17:54:50 +08:00
    我用的 G7400 ,去年这时候 12 代 sr-iov 还不行呢,看来可以折腾折腾了
    long1and
        35
    long1and  
    OP
       2023-09-25 19:07:27 +08:00
    @0x663 就只有一家店,tb 下单后可以和老板说要银色。
    long1and
        36
    long1and  
    OP
       2023-09-25 19:07:59 +08:00
    @dolphinT 所以打算主路由也 all in one 的,后来考虑稳定性才分离出来了,所以现在网口多了。
    long1and
        37
    long1and  
    OP
       2023-09-25 19:09:32 +08:00
    @shekou 主路由负责拨号和 DHCP 管理,旁路由负责科学上网,主要是不想所有设备都走科学上网的线路。通过 DHCP 指定需要科学的设备网关到旁路由来管理。
    wm5d8b
        38
    wm5d8b  
       2023-09-26 08:00:19 +08:00 via Android
    我的机柜还提供 POE 供电,直接上到 250w ,你的好省电呀
    weiweiwitch
        39
    weiweiwitch  
       2023-09-26 10:05:53 +08:00 via Android
    @long1and 这是什么设备的功耗界面,看着挺好看的
    long1and
        40
    long1and  
    OP
       2023-09-26 10:11:05 +08:00   ❤️ 1
    @weiweiwitch 是 gosund 智能插座计电款,通过米家接入 home assistant 就是这个界面
    mofix
        41
    mofix  
       2023-09-26 12:16:38 +08:00
    op 能测试一下用 Jellyfin 看 PGSSUB 字幕的 UHD4KHDR 的电影能流畅硬解吗,我现在 8500T 黑群 AIO 用 EMBY 开心版不能流畅,卡得很,感谢
    long1and
        42
    long1and  
    OP
       2023-09-26 18:07:41 +08:00
    @mofix 你好。我测试过了,没有稳定,不管是解码还是转码都非常流畅。我的样片是阿凡达 2 4K HDR10 。
    转码到 1080P 60Mpbs 和 10Mpbs 都很流畅,拖动也几乎是秒加载。UHD730 的转解码能力真的很强。
    long1and
        43
    long1and  
    OP
       2023-09-26 18:14:00 +08:00
    @mofix 打错字了,没有问题,但是 UHD630 的性能应该也够吧?
    mofix
        44
    mofix  
       2023-09-27 00:40:46 +08:00
    @long1and 感谢,那我自己再折腾一下
    fregie
        45
    fregie  
       2023-09-27 09:09:49 +08:00 via Android
    功耗是怎么监控的?
    long1and
        46
    long1and  
    OP
       2023-09-28 10:24:35 +08:00
    @fregie 用的智能插座,接入 homeassistant 平台
    ad53636746
        47
    ad53636746  
       2023-10-06 17:22:52 +08:00
    @long1and 用的哪家的啊,小米的么
    ad53636746
        48
    ad53636746  
       2023-10-06 17:24:01 +08:00
    目前也在考虑自己搭建一个,看了你的,配置,看来没必要买 B760 和 i5-12400 的配置啊
    latine2012
        49
    latine2012  
       2023-10-16 15:00:50 +08:00
    这个机箱感觉怎么样啊?是 5 盘位的吗
    long1and
        50
    long1and  
    OP
       2023-10-17 21:40:26 +08:00
    @latine2012 机箱很好呀,是六盘位的。
    xlost
        51
    xlost  
       2023-10-18 19:02:46 +08:00
    学习了,感谢
    mofix
        52
    mofix  
       2023-10-29 18:59:16 +08:00 via iPhone
    我用 11 代 pve 后装了 LXC 试过了,用 EMBY 解 PGSSUB 字幕的不要太爽,跟黑群内完全不是一个档次,但又有新问题了:就是 emby 可以完美硬解,但装了 jellyfin 却不能硬解了,但没试过用 docker 装,主要是不想用 docker ,驱动也都装好了,很奇怪
    leening3436
        53
    leening3436  
       353 天前
    楼主您好,我是同样的主板,pve 里操作都完成了,但是 IOMMU 一直开不起来,主板里 VMX 也打开了,请问要升级 BIOS 吗?
    hxpmc
        54
    hxpmc  
       330 天前
    楼主显卡直通有教程吗 我的 lxc 一转码 cpu 就爆
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1052 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 19:10 · PVG 03:10 · LAX 11:10 · JFK 14:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.