求推荐 ZFS 存储池去重 vdev 用的固态

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in，那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动，会导致账号被禁用。

这是一个创建于 134 天前的主题，其中的信息可能已经有所发展或是发生改变。

如题，有人说去重只是索引，不需要太大的容量，只要性能强就行，所以我应该选择 2 个 512GB 的 SATA 固态还是 2 个 280GB 的傲腾用于去重？

9 条回复 • 2024-07-11 14:51:33 +08:00

aloxaf

134 天前

跑过 zdb -S 了吗，确定值得去重？

而且确定需要块级去重吗，如果是重复的照片、视频，rmlint 这类工具就能帮你搞定了。

HOMO114514

134 天前

小海豚 6530 、CM6-R 、镁光 7500 、大普微 R5101 这种 1.92T 的读密集型盘足矣，他们就是为了这种负载设计的

adrianzhang

134 天前

什么也不如大内存管用。

xustrive

133 天前

@adrianzhang #3 那得有个 UPS 。

adrianzhang

133 天前

@xustrive 用固态一样也得用 UPS ，写并不直接落盘。

efsg

133 天前 via Android

@adrianzhang 直接开启去重太吃内存而且影响性能，所以我才想能不能加去重 vdev

adrianzhang

133 天前

@efsg 任何对 ZFS 有管理经验的人都不建议开启去重，即使你上了大内存和大固态，会发现去重仍将大幅度脱慢吞吐，原因是去重需要构建一份文件列表在内存里，且不会保存全部，不管内存多够用，那么在吞吐时候不可避免要去要求磁盘 IO ，HDD 的 IO 一般在百级别，SSD 在千级别，哪个都不够用。

efsg

133 天前

@aloxaf 跑过了，现在的数据量没办法手动去重，如果 2 个 512GB 的 SATA 固态或者 280GB 的傲腾就能搞定我觉得是值得的

root@truenas[~]# zdb -S -U /data/zfs/zpool.cache tank
Simulated DDT histogram:

bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 104M 13.0T 13.0T 13.0T 104M 13.0T 13.0T 13.0T
2 7.19M 920G 919G 919G 15.4M 1.93T 1.92T 1.92T
4 417K 52.1G 52.0G 52.0G 1.84M 236G 235G 235G
8 16.3K 2.03G 2.02G 2.02G 166K 20.7G 20.6G 20.6G
16 7.30K 927M 916M 916M 129K 16.0G 15.8G 15.8G
32 620 49.4M 34.1M 36.2M 22.6K 1.89G 1.40G 1.46G
64 50 5.01M 4.80M 4.87M 4.51K 461M 441M 447M
128 11 1.00M 482K 537K 1.82K 158M 73.1M 82.8M
256 4 130K 130K 154K 1.70K 60.4M 60.4M 70.2M
512 1 512B 512B 8.53K 848 424K 424K 7.06M
1K 3 1.50K 1.50K 25.6K 4.67K 2.33M 2.33M 39.8M
2K 1 512B 512B 8.53K 2.41K 1.20M 1.20M 20.5M
4K 1 128K 128K 128K 7.65K 979M 979M 978M
64K 1 512B 512B 8.53K 100K 50.1M 50.1M 855M
Total 112M 14.0T 13.9T 13.9T 122M 15.2T 15.2T 15.2T

dedup = 1.09, compress = 1.00, copies = 1.00, dedup * compress / copies = 1.09

aloxaf

133 天前

@efsg #8 1.09 的比率就别去重了吧，我觉得真划不来，zfs 的去重没有后悔药，想关掉这个功能只能重建数据集

建议先用 rmlint 跑一遍效果如何