求一个多硬盘（＞ 40 块）的本地解决方案

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2169 天前的主题，其中的信息可能已经有所发展或是发生改变。

工作需要，有大于 100T 级别的数据需要低实时处理（要求时延 1 分钟内），处理其实不是 CPU 密集（ i3 都跑不满），也不算 IO 密集，但是不可预测到底在哪个盘里
就是需要保持这些盘处于可用状态
目前已有：3T 盘 X20+,4T 盘 X10+,各种其他容量的硬盘（ 1t，2t，5t)小于 10 块
商业级别的阵列柜太贵了，支持 30+盘的价格都是 5w 起步,sata 扩展卡也考虑过，看了下 tb，最多支持 4 口的扩展，有点少
想的是挖矿有那种 16+pcie 口的主板
有没有原生支持 50+SATA 接口的家用主板或者台式？或者说有没有什么解决方案可以帮助？

SATA

阵列柜

主板

密集

21 条回复 • 2018-12-02 19:03:30 +08:00

dream7758522

2018-12-01 21:38:36 +08:00 via Android

廉价 pc 搭建局域网？同样局域网访问硬盘？

dream7758522

2018-12-01 21:38:54 +08:00 via Android

通过局域网访问硬盘

C2G

2018-12-01 21:49:11 +08:00 via Android

12sata 口的 j1900 集成主板多来几块，然后网络访问（ smb/其他）。这主板不知道还能不能再加扩展卡

feverzsj

2018-12-01 21:51:56 +08:00

jd 上硬盘盒 40 元一个，在买几个 usb hub，linux 下可以用 lvm 把所有硬盘合并成一个分区，2000 以内可以搞定，不过任何一个硬盘的损坏或丢失，都可能导致大量文件的失效

C2G

2018-12-01 21:51:57 +08:00 via Android

@C2G 单主板的话不太实际。除了上面的方案我能想到的就是 pci 再拓展了。pci 拓展还可以再一拖四，但是只有 sata2 还是 sata1 的速度。也可以看看能不能把 pciex16 分成 16 个 pcie 插扩展卡（一下子多了 64 个 sata 口）

7654

2018-12-01 21:54:45 +08:00

msi 有一款挖矿主板，拥有 1 个 pci x16、12 个 pci x1 插槽
H310-F Pro

zander

2018-12-01 21:59:50 +08:00

SE326M1，25 盘位，2000 内可以搞定。

swulling

2018-12-01 21:59:52 +08:00 via iPhone

奥睿科的八盘位的外置 USB 3.0 的硬盘盒大概 1900，四十个盘买五个就够了

alvin666

2018-12-01 22:00:12 +08:00 via Android

@7654 阵列卡好像 x1 塞不进去（？）

如果是 sas，阵列卡一个能带很多，但是 sata 就比较麻烦了，我觉得多个小千兆主板做存储集群可行。

7654

2018-12-01 22:17:21 +08:00

@alvin666 #9 延长线
矿卡都是这样延伸出来的

gefranks

2018-12-01 22:25:45 +08:00

配这个之前首先是你盘上数据的重要性, 是不是要上 raid, 上 raid 几, 读写速度上有没有要求.
要是数据又重要, 写又多, 速度还有要求, 那就没便宜的方案了.

1. 看看国鑫 24 盘位带 SAS expander 的机箱, 搭几个存储服务器.
如果你不组任何阵列的话那应该这些盘就设成 RAID0 来访问.
2. 要挂在一个机器上的话看看淘宝上还有没有 rackable 16 盘位的机柜了, 配外置 SAS 卡,可以几个柜子连起来.
3. 超微有个板子 16 个 SATA 口, 但挺贵的.
4. 奥睿科的东西不推荐, 容易坏盘. 以前用个 orico 的东西上面带了个自动休眠功能.搞坏 2 块盘,软损坏, 数据全灭, 虽然能恢复吧.但是烦.

我用过的 SATA 盘基本上都能接 SAS 卡上, 有 1 SAS 转 4 STAT 的线.
如果不上 RAID 都是单盘的话, 那还要看 raid/hba 卡是不是支持单盘 RAID0. 我以前用过一些 LSI 的是支持的. 当时专门弄了一个 raid0 的盘位,插了个盘用来传递数据.

以上皆为个人见解, 不喜勿喷.

daocheng

2018-12-01 22:44:21 +08:00

分布式文件系统？ HDFS

mhycy

2018-12-01 22:51:34 +08:00

二手服务器方案的阵列卡是个好东西（虽说以下推荐的柜子是全新的）

便宜货柜子做 expander+阵列卡
例如这个
https://item.taobao.com/item.htm?id=14763379379

阵列卡用 LSI 9286CV-8eCC / DELL H730P
再买个便宜货服务器做主机，上架....
稳定靠谱美滋滋..

Wenpo

2018-12-01 22:53:03 +08:00 via Android

某宝关键词 IPFS 主板

mhycy

2018-12-01 22:59:14 +08:00

https://item.taobao.com/item.htm?id=580970658721
补充推荐这货....

flynaj

2018-12-01 23:49:35 +08:00

多口无盘服务器。三台左右就可以了。

ryd994

2018-12-02 03:54:50 +08:00 via Android

@alvin666 你需要的是 sas hba+expander
hba 有半高的。而且你看到只有 4 口，那是不对的。一般 sas hba 是 2-4 个 minisas，每个 minisas 是 4 个 sas port。但是，你这个需求哪怕一个 sas port 都足够。因为可以接 expander。每个 sas port 可以接 256 个设备。只不过他们贡献带宽，所以一般还是多配几张 expander

expander 虽然是全高，但其实不需要 pcie，只需要供电。可以买供电转接板。

snnn

2018-12-02 09:06:30 +08:00

要我肯定选 HDFS。多主机。

greenskinmonster

2018-12-02 13:05:42 +08:00

GlusterFS 可以看看
https://www.reddit.com/r/DataHoarder/comments/92odad/new_32tb_glusterfs_deployment/

annoy1309

2018-12-02 14:10:54 +08:00

@7654 我要的是 SATA 不是 pcie
@zander 好的我去 tb 看看
@gefranks 对速度几乎无要求，30MB/s 这种数量级就没问题了。
@swulling 奥睿科的东西质量太不行了，不靠谱
@ryd994 感谢，我去了解一下相关

msg7086

2018-12-02 19:03:30 +08:00

首先，如果是工作需要的话，有条件的话还是不要买这种小容量硬盘了。8T 和 10T 价格已经很合理了，组起阵列来会帮你剩下很多管理和接口平台的开销，即使单位价格稍微贵一点，整体的 TCO 并不会上升。

然后你的需求，100T 容量如果插 10T 盘，少则一个 12 盘位机架式解决，多的话来个 24 盘位的也就解决了。要成本低可以找二手蓝猫的箱子，自带 SAS Expander 的，只要配一块或者两块 50 刀左右的 HBA （或者 RAID 卡回来自己刷 ROM ）就能撑下来。

这点小容量还犯不上搞分布式存储吧……