这是一个创建于 2804 天前的主题，其中的信息可能已经有所发展或是发生改变。
虽然最近在 V2EX 和 Slashdot 上都有相关讨论，本地存储和云存储的选择，备份方案的选择。
我的主硬盘 167GB 容量，实际已用 147GB ，用来存放系统和工作目录，副硬盘 698GB 剩下 200GB ，用来存放下载内容、常用资料、每日备份、音乐专辑、本子，外置硬盘 4TB 剩下 1TB ，用来放每日备份的备份，不常用的资料、数据、本子。看起来够用，但问题是很多数据都只有一份，比如外置硬盘有部分已经转码放到 WALKMAN 的专辑，一些不常用的资料、照片。每日备份中完整备份占 100GB ，增量备份一般是 2GB 左右，七天一个循环，每周光备份文件就有 120GB ，备份文件我至少会保存一个月。
所以问题来了，虽然我也经常推荐别人 Amazon Glacier ，但今天实际算了一下价格还是有点心疼，就算 3TB 数据， 0.004 USB/GB,mon ，一个月就要 12.29 刀，一年下来大约 150 刀，足够买一块 4TB 的 backup plus 了。但和 Glacier 相比，本地软件镜像和 RAID 的稳定性明显不行，比如突然断电、碰开数据线、怕是会掉数据，而且最怕坏道、比特翻转的问题，不容易发现。（虽然概率很低就是了）。
如果买 Gen8 组 ZFS ，本体 2k CNY ， HGST 4TB HDD *4 大约 5k CNY ，然后还要算上两条 8GB 的 ECC 内存，最少也要一千二，才能组一个完整的 ZFS 存储伺服器，成本高出很多了。
看起来 Glacier 确实挺便宜的，但有个问题，上传带宽不够。一个月前我办宽带买的 50Mbps 联通，当时测速双向 50Mbps ，很稳定。上周再测发现上行已经被限制到了 10Mbps ，实际速度 1.25MBps ，我这 3TB 的数据得用 700hr 才能完成上传，大约一个月，如果日常生成 100GB 备份得话得 23hr 才能完成上传，一整天啊，第二天的备份都要出来了。 Gen8 则自带两个千兆口，带宽是广域网的 100 倍，同步能瞬间完成。
结果这样算下来就进入两难境地，本地 NAS 的购入、维护成本高，稳定性不及 Glacier ，毕竟没有异地容灾，没有 UPS ，但数据交换速度更快是个优点。
想到这个问题是因为今天用 VeraCrypt 备份 4TB 的外置硬盘时遇到错误，报错部分扇区读取失败，最后选择了用 0 覆盖，后来报告说覆盖了 4KB 的数据。整个备份过程耗时 45hr ，期间不能断开连接，否则所有数据无法找回。现在提心吊胆中，不知道还会有多少数据会读取失败然后用 0 覆盖。
至于为什么要加密外置硬盘？我怕我硬盘被别人发现全是大姐姐和本子你能信？
 |
1
yangqi 2017-03-08 23:15:11 +08:00
backblaze $5/月，无限量备份
|
 |
2
lhbc 2017-03-08 23:18:24 +08:00
廉价 N3150/N3160/N3700 主板集成 CPU, 4G 内存，成本不到 1K, 加个廉价 UPS
双 4T 组 RAID1, 重要数据加上版本控制 |
 |
3
keramist 2017-03-08 23:24:14 +08:00 via Android
家里破电脑两台 安装 nas4free 开启 syncthing 本机装 syncthing 三份数据同步增量备份 万事无忧
|
 |
4
Explorare OP @yangqi 多谢建议。测了一下速度，下行 800kb 上行 10Mb ，速度还是特别感人。大概我需要先投诉联通恢复上行带宽？
|
 |
8
mhycy 2017-03-08 23:35:28 +08:00
@lhbc 方案靠谱~，但不改装的 Gen8 也不错
推荐方案： 原装 GEN8 ，上 Windows Server 2012 R2 配合存储池与 ReFS 组 R1 ，这样能省处理器费用 另外 ZFS 可以试试原机跑，备份用途性能要求应该不高 |
 |
9
csunny 2017-03-08 23:54:04 +08:00
小白不太明白为什么不用 amazon drive.费用也不高。
|
|
12
Explorare OP @csunny 去年买过一年的吃灰了，上传速度不稳定，全靠挂代理，客户端做得特别垃圾，基本属于不可用的范畴。当时还专门写了一篇评测，但因为今年没机会再测试一次就撤下来了，内容过期。
|
 |
16
SuperMild 2017-03-09 00:31:33 +08:00
也不需要全部都备份到云端吧？一些又大又不太重要的东西就放本地硬盘可以了。
另外，腾讯微云会员储存空间 4T ，每年 100CNY ，价格很便宜，既然是收费服务，万一关闭服务应该也会提前通知，感觉也是一个选择。 |
|
18
mhycy 2017-03-09 00:39:16 +08:00
|
|
19
Explorare OP @mhycy 实际上我百度云免费就有 3TB 的容量，但数据全都是转存的本子和专辑，没敢存自己数据上去。而且百度云限速太厉害了，我是服气的。
|
|
20
mhycy 2017-03-09 00:57:27 +08:00
@Explorare 数据量不能说明问题，身边有朋友丢过几个 T 的私人文件，反正经历过长毛事件和 MU 倒闭事件我是一个都不信，全都是后备方案，主备份肯定自建
|
|
21
Explorare OP @mhycy 所以你的建议也是自建文件伺服器？ ReFS 需要 Server 2016 ，授权怎么解决？ KMS ？而且 ReFS 和 ZFS 相比似乎还是差一点？明天再详细做对比。你整套系统花了多少钱，主要用了哪些硬件？我感觉要是买果然还是 Gen8 了，主板支持 ECC ，不知道什么时候能出 Gen8 的下一代啊。
|
|
22
Explorare OP 查了查当年为了买 Gen8 做得笔记发现这个坑还是挺大的， JD 上正品 8GB ECC 内存一条五六百， X 宝的所谓兼容条两百多，但我选择正品。
CPU 都推荐 1265Lv2 ，然而价格虚高， 1230v2 TDP 略高怕压不住。 硬盘上我还是选择 HGST 的企业级 4T 盘， ZFS 扩容困难所以必须一次性买齐四块组 Z2 。 ZFS 吃 ECC 内存所以 至少 8GB ECC RAM 也是必须的，另外光驱位也能拆掉换个 SSD 当快取，和 RAM 组成双层缓存。 然后 Gen8 还得配个 UPS ， APC 有几个支持智能联网管理的 UPS 还挺不错的，又是一千多。然后散热方面还得考虑增加低速风扇或者上精密空调（并不需要）。 如果再有闲工夫还能增加一块半高 M20 跑深度学习（并不会），或者增加一块 Intel 的 4 端口万兆光纤网卡（并没必要，也没兼容设备，纯粹闲得蛋疼）。 |
 |
23
loading 2017-03-09 07:12:00 +08:00 via Android
删音乐，在线听。
|
|
24
lhbc 2017-03-09 08:37:14 +08:00 via iPhone
@Explorare 1230v2 无压力，其实单纯跑 ZFS 用原装的 CPU 就行了
话说，你这解决方案，就是：我要买张桌子放电脑，结果是建了套房子。 |
|
26
mhycy 2017-03-09 08:51:45 +08:00
@Explorare
2012 R2 足矣，虽说有些小 bug ，但用起来没问题 我现在一共有两套存储，一套组装机接 LSI 9286CV-8eCC ，另一套 ML10V2 升级 32G 内存跑了 ReFS 和虚拟机。 CPU 一个 E3 ，一个 I3 ，这点存储 CPU 不是啥瓶颈 内存条看看海淘报价，不过现在应该都涨价了，我那时候 32G ECC 买了 1100 ，美亚 至于硬盘，既然都用上 ZFS 了当然最便宜的盘搞起 一次性插多点以后还能替换扩容，说回来， ZFS 不一次性满 12 盘就是浪费，机头成本摊不下来 总体说方案没啥问题，钱总是要花的，一次性投入吧。 要是对噪声没啥意见，搞个 DL180 G6 也是可以的。 |
 |
27
mooncakejs 2017-03-09 09:08:39 +08:00 via iPhone
自建 raid 用云盘？隔壁帖子 1t 的数据得下一个月。你的 3t ？
|
 |
28
Quaintjade 2017-03-09 09:53:16 +08:00 via Android  1
考虑标称的可靠性的话， Glacier 存储价格不贵，但是数据取回超贵啊。乍看流量费一般般，但请求数收费很容易被忽视（和取回速度有关）。建议用那个非官方估算器，不要用官方的。
云端可以作为备份用，但本地存放是不可省的。 |
 |
29
honeycomb 2017-03-09 10:09:04 +08:00 1
如果数据可以更冷一些(仅需要时才开机)的话，找台机器运行 2012R2/2016 ，开存储池就可以了，根据数据安全要求选择合适的容错等级：
http://blog.sina.com.cn/s/blog_6a975f1d0102woe1.html 数据加密也有 bitlocker |
 |
30
helloccav 2017-03-09 10:53:22 +08:00
@Quaintjade 请问 Glacier 非官方估算器在哪里?
|
|
31
keramist 2017-03-09 11:03:05 +08:00 via Android 1
nas4free zfs 加密硬盘 系统装优盘 类似于路由器固件 升级方便 比 freenas ovm 使用管理方便 数据 tb 级 synching 有点耗内存 日常工作机 8g 以上无压力 atom 330 2gb 老机器用作备份 也无压力 同时 nas4free 支持开虚拟机 绝对好用
|
|
33
Explorare OP @lhbc 哈哈，差不多，房地产商的阴谋。毕竟如果买个 Gen8 只拿来跑个 NAS 也是感觉有点亏的，再搞个虚拟化岂不美哉。
|
|
34
Explorare OP @mhycy ZFS 的 pool 一旦分配就没法扩容了，只能新增 pool ，如果已经插了三块硬盘组了 Z2 ，下次扩容还想用 Z2 得话必须再加三块开个新 pool ，不能扩容已有 pool 的。
那个塔式机略贵了，而且占地方， Gen8 挤一挤还放得下，也许我该考虑换套房了。 讲道理伺服器用硬盘当然就是 HGST 4T 了，难道你敢用西数 2T ？ 噪音的话还是有点意见的，毕竟放在我卧室。 |
|
35
Explorare OP @mooncakejs 百度云限速太厉害了。 BackBlaze 不限速然而线路原因上行 10Mbps 下行 1Mbps ，基本属于有去无回了。
|
|
37
mhycy 2017-03-09 11:30:32 +08:00
@Explorare
ML10V2 我是在打折的时候德淘的，到手 1800 不到， 4 代平台，换了个 I3 ZFS 就是因为不能扩容所以才建议一次满柜 12 盘，替换扩容是 1:1 换盘重建， 3T 单盘换成 5T 单盘，全换一次扩容 硬盘直接东芝 DT01ACA300 ，便宜才是王道，除非你这 HGST 能做到 600-700 块，不然没性价比。 组阵列的优点就是同等预算能用更便宜的硬盘换更大的容量。 于是你现在打算用啥？有多少预算？在我看来配个 PC 挂满 14 盘也是不错的（恩杰 H2 机箱） 另：大概你可以翻翻我的老帖子，以前有讨论过这个问题 |
|
38
Explorare OP @mhycy 文件备份是首要任务，虚拟化得话，既然买了 Gen8 当然要顺便做一个咯。机械硬盘的震动是个大问题，很吵， 12 块的功耗、噪音怕是不行了。毕竟放在我卧室。那个硬盘倒是挺便宜的，多谢推荐。预算得话五千吧，刚好能买四块东芝一个 Gen8 ，再升级下内存。谢谢指点。
|
 |
39
pubby 2017-03-09 11:51:19 +08:00 via Android
@Explorare zfs 可以扩容啊，你找容量大的硬盘按个换一遍就行。就是换一个等同步完成再换下一个
|
|
40
Explorare OP @pubby 谢谢纠错。查了一下当时看过的分析，确实是这样，可以把 VDEV 的所有磁盘逐个更换来完成扩容，而增加新磁盘来扩容是不可行的。
http://louwrentius.com/the-hidden-cost-of-using-zfs-for-your-home-nas.html 这篇分析写的很清楚了，推荐感兴趣的朋友看看。 |
|
41
pubby 2017-03-09 12:31:37 +08:00 via Android
|
|
42
Explorare OP @pubby 我是考虑没那么大地方放 2U 或者塔式， MicroServer 大小就合适， 4 盘位用 3T*4 或 4T*4 组 Z2 就不用折腾了， 2 盘位容错性一般。
|
 |
43
Sh888 2017-03-09 12:42:56 +08:00
国内网络这个上传速度用不了云备份吧？纯备份用移动硬盘和 windows 备份工具就好了。既想备份，又像直接看个电影什么的，买个 arm 架构的 nas 也可以，直接备份到网络路径。
|
|
44
pubby 2017-03-09 12:43:48 +08:00
@Explorare 不建议 z2 ，读性能貌似不理想
3x 4TB, raidz1 (raid5), 7.5 TB, w=225MB/s , rw=56MB/s , r=619MB/s 4x 4TB, 2 striped mirrors, 7.5 TB, w=226MB/s , rw=53MB/s , r=644MB/s 4x 4TB, raidz2 (raid6), 7.5 TB, w=204MB/s , rw=54MB/s , r=183MB/s https://calomel.org/zfs_raid_speed_capacity.html |
|
45
Sh888 2017-03-09 12:44:44 +08:00
移动硬盘加密备份用 bitlock 和 windows 自带的备份工具不就可以么?
|
|
47
Explorare OP 1
@Sh888 Bitlocker 跨平台性不行，手上没有可以解 Bitlocker 的 PE ， Linux 就更不用说了。 VeraCrypt 可以免安装运行在 PE 中。
|
|
49
Sh888 2017-03-09 13:04:30 +08:00
@Explorare 性价比要根据你的需求来，你说的是不是 HP Gen8 ？这个好像是 x86 架构的，功耗竟然要 150W......我是觉得 arm 架构的 nas 就可以了。反正只有存储和下载需求，看片解码都是在客户端完成的。双盘位 arm 架构的 1000 元都不到，我用着感觉挺好。
|
|
52
mhycy 2017-03-09 13:09:40 +08:00
|
 |
54
d4rkb1ue 2017-03-09 14:09:33 +08:00
我觉得这么高的需求（又要性能，又追求性价比），不如自己配一台 itx 主机好了，我不懂大家默认都选择 gen8 为啥。双系统 黑裙 win server 随便搞， 1/2 块 pci-e ssd ，用来做虚拟机也是爽爽的。内存没那么贵， CPU 机箱显卡（ AI/ML ）随需求随意定制（赢在兼容性啊），任何部件随意升级，数据稳定性靠 RAID 0 呗。这样成本很低。最后余下来的钱还能买了一块外置 4TB/8TB 移动硬盘，日常按周按月备份（异地容灾了哈哈）。觉得不够专业，就买很贵的机箱，一下子就专业起来了。
|
|
55
honeycomb 2017-03-09 14:32:06 +08:00 via Android
|
|
56
Sh888 2017-03-09 14:57:34 +08:00
|
|
57
mhycy 2017-03-09 15:34:12 +08:00
@Sh888 我还没试过，感觉 ARM 跑 BTRFS/ZFS 速度会不行，毕竟运算量巨大，裸 RAID 应该没啥，跑满 CPU 只做转发
|
|
58
Explorare OP @d4rkb1ue RAID 0 不但不能增加容错率，反而会降低。 Gen8 主板支持 ECC ，有阵列卡，自带 iLO ，有千兆网口，求问如果要求同样功能配一台兼容 itx 主机需要多少成本呢？纯粹好奇，嘲讽意思。不玩串流和直通得话不需要显卡的， Gen8 自带亮机 iLo 。
|
|
59
Explorare OP @Sh888 我是希望能够支持加密的，这样就能放心的把一些重要文件的扫描件保存进去了。备份的话我希望能压榨出 SSD 的读取、备份速度，目前受 副硬盘 70MBps 的写入上限，不清楚如果走千兆网，能否跑满千兆带宽 125MBps ，个人估计没啥问题。
|
|
60
Quaintjade 2017-03-09 16:29:38 +08:00 2
|
|
62
Explorare OP @mhycy 虽然没有什么关乎世界和平的机密文件，但有个人隐私啊。实际上加密硬盘主要是为了避免未经授权加载硬盘读取数据，如果机器已经启动了，那就不是加密系统的事了，是防火墙的事。
|
|
64
Explorare OP @mhycy 就算我闲得蛋疼想试试好了。在笔电上试了试发现对性能影响不明显。如果有富余的性能开个加密也没什么损失。
|
 |
65
imydou 2017-03-09 17:59:52 +08:00
家里 群晖 cloud sync 同步 google drive
公司 gen8 同步 google drive 离线 定期移动硬盘备份 |
|
66
Explorare OP @imydou 哎。要是上行能到 100M 就没这么多问题了，直接掏钱 BackBlaze 。可惜现在这 10Mb 的上行实在可怜。
|
 |
67
zckevin 2017-03-09 19:21:40 +08:00
我的想法是：
把文件打上标签，类似于 QoS 的 tag ，存在本地 NAS 。然后本地 NAS 作为一个 buffer ，后台 7x24h 负责按照 tag 的优先级加密、上传到国内外的云存储，细水长流。 |
|
68
Explorare OP @zckevin 可我懒得造这个轮子啊。后台云同步得话，群晖的系统就可以做到，可以直接接入很多国外云服务商，但上传带宽一直是问题。细水长流也得看多细多长了。上传速度跟不上数据产生速度就麻烦了。比如每日备份。
|
 |
69
minamike 2017-03-09 19:43:39 +08:00
OneDrive 1T 够我用了
要倒了的话巨硬药丸 |
 |
70
shijingshijing 2017-03-09 21:01:24 +08:00
存储为什么不分级？那些很长时间看不到一两回的，用一个普通的 PC 就能做存储啊，又不是 24 小时开机，即使放那里坏了京东随便也能买到配件啊；经常使用的比如 iTunes 备份什么的，需要更稳定的系统，其实 CPU 没必要上至强，内存也没必要上 ECC ，民用与稳定性关系最大的是主板和电源，如果是常开的电源大牌的固态电容主板+80plus 的电源是王道，最好是 HP ， Dell 的准系统。
我是在是不明白为什么要把东西放在云端～ |
|
71
Explorare OP @shijingshijing 不管怎么分级，你的文件伺服器本身得有完整性校验和容灾吧，至少得是 RAID 5 才能同时提供容灾和校验。
就算是不常用得数据，你放在那里也有比特翻转的问题，没有校验最后放上几年有的文件莫名其妙的就损坏了，还没法修复。 而且我现在是有分级的，\Dev 有 git ，\Doc 有 5min 一次的不间断增量备份，系统盘有每天一次的混合备份，备份盘还有个备份盘。不常用的数据在外置备份盘中。 我的意图是用一个文件伺服器取代这个不安全的外置硬盘，至少四块组个 Z1/Z2 比单独一块安全得多吧。我这块外置硬盘还是不经常用，现在已经出现两个 4k 扇区读取失败了。 我怕的不是硬盘坏了没得用，是怕数据丢了。 文件伺服器当然要 24hr 开机啊，大不了不用的时候自动进低功耗状态嘛。 ECC 对于 ZFS 是必须的，不是可选。 能推荐一个 2k~3k 、带阵列卡支持 ECC 的准系统么？ 如果带宽允许我当然选择云存储了，价钱便宜还省心， BackBlaze 一月 5 刀便宜的不行，就可惜带宽不够。 |
|
73
Explorare OP @mhycy 哎，只能继续等了。不过昨天查了一下发现希捷的 Backup Plus 4TB 的挺便宜啊，而且尺寸好小。我这个 4T 的是 3.5 吋桌面硬盘，重的不行。然后就和上面朋友说的一样，虚拟机跑个 Server2016 ，把数据盘直通给虚拟机跑个 ReFS ，可以同时拥有冗余和校验，但整套系统不够稳，一个蓝屏怕是会 GG
|
|
75
Explorare OP @mhycy 问题在于开发机就是拿来折腾的，一言不合就蓝屏或者内存溢出，所以才考虑买个 Gen8 或者同等功能的东西。
|
|
76
shijingshijing 2017-03-09 21:51:33 +08:00
@Explorare 重要的东西，放到云端不安全，隐私容易泄露；不重要的大文件放到云端，你上传下载不耗时间？码农最珍贵的资源就是时间。 RAID5 也花不了多少钱，还有那个比特翻转，你确定你碰到的是比特翻转而不是硬盘坏道或者失磁？ SEU 事件在地面上很难碰到，到电离层外再说。我们的系统都是 Radio Hardened 的，高等级的甚至部分要考虑 EMP-proof ，比特翻转我做了这么长时间还没碰到过。
大姐姐纪录片这种真心不如做个 JBOD ，然后定期冷备，自己做一个千兆以太网，然后设为 Wake-On-Lan ，要使用的时候，开机即可。关键系统，比如 Gitlab 做仓库管理项目文件，想做 24×7 又不想太高功耗，有钱就上 SSD 当主仓库，笔记本热备，没钱老老实实 HDD 做 RAID ，这种文件也不会太多的。 话说 RAID 挂了恢复也很麻烦的好么？远不如定期直接硬盘拷贝做备份。 |
|
77
mhycy 2017-03-09 21:53:06 +08:00
@Explorare 我说的就是用 Gen8, 底层 Windows 2012 R2 配合 VMware Workstation 问题不大。
内存溢出蓝屏。。遇上重启就完了 |
|
78
shijingshijing 2017-03-09 21:53:43 +08:00
#r76 笔记本热备 -> 笔记本硬盘热备
|
|
79
Explorare OP @shijingshijing 唔，谁知道呢，也许就是坏道。这类错误只有读取数据的时候才会发现，很头疼。
按我现在备份流程来说，如果有个 NAS 得话，每日备份就可以直接丢到 NAS 上而不用占用副硬盘的空间了，还原的时候也可以直接在 PE 中联网读取恢复。岂不美哉？现在总数据量大概不到 4T ，搞个 JBOD 那不就是再买块 4T 的外置硬盘么。倒是挺便宜就是了，感觉也不错，至少假装自己有冗余了。 ZFS 的恢复确实挺麻烦的。 |
|
82
Explorare OP @mhycy 各种玩意， Web 前后端、 JSE 、 Android 、 C#、曾经的 Windows Phone 。
|
|
83
Explorare OP @mhycy 最近几个月在搞物联网设备， Arduino 和 ESP8266 之类的小玩意。前略，万恶的 C++。
|
|
85
Explorare OP @mhycy 把 VS 塞虚拟机里？性能够用么？实机编译一次固件都要一分钟，丢虚拟机怕是要翻倍。虽然原来也干过在虚拟机开战地 3 私服然后又在宿主机开客户端连进去玩的事，意外不是特别卡。
|
|
86
mhycy 2017-03-09 22:44:35 +08:00
显然性能是够的，前提磁盘是 SSD 。现在虚拟机处理器不是瓶颈，磁盘才是。问题不大可以一试~
|
 |
87
predator 2017-03-09 22:45:02 +08:00
1230v2 完全压得住，我原装散热丢柜子里面三年多了
|
|
92
Explorare OP @mhycy Gen8 主要还是长的好看，可惜 Gen9 没有 MicroServer ， Gen10 估计也不会出。这都 17 年了，哎。
|
|
93
predator 2017-03-10 00:28:40 +08:00
@Explorare 发快了没发现有歧义 =。=
国行 gen8 ， 1230v2 原装散热器， 4 块 4T ，日常工作是一个 centOS （负责软路由）加一个 win7 （下载 /共享 /转码之类打杂），和光猫、交换机一起塞在一个宜家贝达柜子里，拆掉了柜子背板，柜子门都没做处理大约只有个两毫米的缝 现在深圳 18 度气温下 iLO 里面显示： CPU40 ， chipset50 ，系统排气温度 48 |
|
94
lhbc 2017-03-10 00:49:51 +08:00
Gen8+1230v2, 原装散热就行了
我还 make -j4 呢，大不了降频， Intel 的 CPU 温控太好了 |
 |
95
suckli 2017-03-10 10:17:08 +08:00
我用微云~
|
 |
97
woyaojizhu8 2017-03-11 15:22:50 +08:00
@Explorare 为什么 ZFS 一定要 ECC ？你测试对比过吗？你用非 ECC 内存遇到过差错吗？
|
Select Language