手头有 6 块 2T NVME P4510 。最初想的是做 software RAID 5 ,但是看了小胖的视频后 Level1Techs,又考虑换到 ZFS 。 因为后期有计划再增加 6-8 块相同的 2T NVME ,ZFS 对扩容的支持不是太好,要一次性增加多块儿硬盘,单次花费比较大
不考虑硬 RAID ,阵列卡太贵了不太划算
想请教下大家对 Linux software RAID, ZFS 之外 还有什么好的多盘支持的方案
1
Remember 2023-02-10 20:41:53 +08:00
btrfs
|
2
SaltyKitkat 2023-02-10 22:22:34 +08:00
btrfs 的 raid5/6 目前不大能用
|
3
ltkun 2023-02-10 23:56:01 +08:00 via Android
哪种 raid 能直接增加硬盘数量? zfs 应该已经可以算得上最灵活的 raid 方式了吧
|
5
esee 2023-02-11 00:22:42 +08:00
上 unraid 呗..单独盘校验,扩容贼方便,就是性能不会有那么强
|
6
fisherwei 2023-02-11 00:26:56 +08:00
由于 nvme 的写入速度太快了,如果用 ZFS 依靠 cpu 做 XOR 的话,压力可能会非常大,甚至成为瓶颈,建议搞个模拟环境做个 benchmark 。
|
7
sNullp 2023-02-11 00:37:39 +08:00 via iPhone
zfs 已经支持在线扩容了。虽然不完美但别的方案也不完美。
|
8
shalingye 2023-02-11 01:38:26 +08:00 via Android
考虑下 VHD ?通过父子继承实现类似阵列的功能,这个我是打算做个管理软件的,还没来得及搞
|
9
KanVivii OP |
10
mxT52CRuqR6o5 2023-02-11 03:48:29 +08:00
unraid 是我见过最灵活的,不过缺点是不能在线扩缩容
|
11
wengych 2023-02-11 10:39:29 +08:00
unraid 容易 boom
|
12
vibbow 2023-02-11 10:57:00 +08:00
mdadm raid 5 + xfs 路过
|
13
roswellian 2023-02-11 11:48:24 +08:00
ZFS 永远的神
|
14
xyjincan 2023-02-11 13:10:26 +08:00
ZFS 可以添加硬盘,前期 6 块,后期加 6 块没有问题,完美兼容,原理类似,一块磁盘,分区分小点,后面再扩展分区,你用虚拟机试试这个
|
15
documentzhangx66 2023-02-12 12:13:41 +08:00
1.raid 别用 btrfs ,很多人都说有 bug 。
2.Linux raid ,最稳的方式,还是 raid 卡。当然,用了这玩意,远程热备还是要做的,毕竟 raid 卡也有坏掉的时候。 |
16
documentzhangx66 2023-02-12 12:14:23 +08:00
zfs 不建议用,内存占用太大了,这系统是很多年前设计的,从现在角度来看,连 btrfs 都不如。
|
17
justaname 2023-02-12 15:13:00 +08:00
家用环境 raid 卡绝对不可能比软 raid 稳,上 BBU 都可能出问题,硬卡 RAID5/6 的回写缓存是一个大坑。为了基本的写入性能总得开回写缓存吧,一旦因为各种原因 RAID 盘掉线(家用环境没有 2 冗余电源,没有 SAS 冗余链路,甚至硬盘都不一定是正规企业盘),缓存里的数据就丢了,要是缓存里的数据恰好是 superblock 或者 metadata ,嘿嘿那就有得折腾了,阵列卡可不知道自己缓存里是啥玩意儿。
BBU 理论上可以应对这种情况,但实际上并不一定,我就遇到过损坏文件系统的情况。硬盘掉线了但是阵列卡没有掉线,然后所有硬盘都变成 UBad ,可以用 LSI 的命令强行让所有盘上线,问题是我缓存里的 superblock 丢了呀,最后一点办法都没有,还好有备份。ZFS 这种软阵列基本上不太可能出现这种情况,所有修改基于 transaction ,掉电也可以回溯,反正所有缓存都是 ZFS 自己管理的,ZFS 自己不出问题那就没问题。硬阵列就算上面的文件系统是有日志,因为回写缓存的存在,文件系统并不能保证关键数据真的落盘了,要安全除非把回写缓存关了,不然多余 1 张盘被踢的话就只能自求多福了,鬼知道回写缓存里的内容啥时候给你丢了。 当然硬阵列也有相对 ZFS ,MDADM 的性能优势,尤其是随机读写。因为 ZFS recordsize 和 padding 的存在,要是追求随机读写性能设置很小的 recordsize 的话 ZFS 的空间利用率会非常烂,搞不好还不如直接用 mirror 了。 至于 btrfs ,吃过两次亏之后我是不会在大容量存储上使用 btrfs 了,只能用脆弱形容 |
18
KanVivii OP |
20
KanVivii OP @liushaokang
其实一直在尝试,目前就 LVM 做个池子,然后定期拷贝全部文件到另外的存储池 NVME Soft RAID 性能下降还是蛮严重的,过几天 RAID 卡到了试一下效果 ZFS 因为吃内存而且不咋熟悉所以没有再考虑 |
21
mightyang 2023-06-09 21:10:03 +08:00
之前用 zfs ,图便宜,买的小克思的机箱,持续写入个 100G 的时候某个端口会掉,排查了好久,除了主板机箱外,都换过,最后才确定是背板问题,nnd ,让客服发了个新的背板过来,两个端口会掉。然后特效写缓存,直接给写废了。重启机子,导入 zfs 池失败,github 方法都试过了,没办法,数据不要了。直接换个好点的机箱 + raid 卡弄弄了,再也不敢买杂牌的机箱了,也不敢用 zfs 了,极端情况下,都是弱鸡。
|