1
jarlyyn OP 连一个吐槽都没么……
|
2
radio777 2015-09-24 17:16:27 +08:00
我们都是买 HP 或 dell 的服务器,自己搞可以省不少钱
|
3
xfspace 2015-09-24 17:17:24 +08:00 via iPad
你就不能直接上个服务器么,组装多费事时
Dell R420/R620 HP 什么的 |
4
jarlyyn OP |
5
FifiLyu 2015-09-24 17:19:03 +08:00 1
直接 dell R 系列的,性价比相对不错。不要自己组装。 dell 质量杠杠的
|
6
jarlyyn OP |
8
sarices 2015-09-24 17:22:50 +08:00
买 dell 塔式服务器,还不错的说
|
9
sunyang 2015-09-24 17:22:59 +08:00
既然楼主对硬件不了解,还是直接上服务器比较好,这样坑少点。
|
10
nonozone 2015-09-24 17:23:20 +08:00
搞个 i3 足够了,就一个文件服务器,要这么高配置干嘛...RMB2500 的主机就行了。
|
13
xfspace 2015-09-24 17:30:05 +08:00 via iPad 1
@jarlyyn 服务区必然吵。。。你想安静用 HP Gen 8 。
外带一句 用 Core™当服务器跑 7x24 ,做 RAID10 ,不然遇上问题,不是钱不钱了。。。我见到是血的教训🌚 |
14
jarlyyn OP |
15
radio777 2015-09-24 17:45:33 +08:00 2
@jarlyyn 服务器永远是数据安全第一,速度其次的,能异地备份最好。
RAID 6 对数据分条后,进行两次奇偶校验,校验结果存储在不同的磁盘存储块中。 RAID 10 首先对数据进行镜像,然后将数据在磁盘中条带化。 RAID 6 能防止两个磁盘同时出现故障,但是主要缺陷是磁盘故障发生后,阵列重建的时间较长。 RAID 10 比较常见一点,重建速度快,大部分控制器都支持 RAID 10 。 建议还是上至强吧, E3-1230V3 足够了。 |
16
GKLuke 2015-09-24 17:50:11 +08:00 1
@jarlyyn 配置看起来没什么问题,有没有人会配置懂维护的?商用服务器的优势在于售后和兼容性 7x24 稳定性。
至于 r10 和 r6 么,你觉得两块盘同时 down 的可能性大不大?两块 down 掉,所有数据完蛋。 r10 的话,若干块 down 掉都没事,只要在 r1 的边,容错性好多了,虽然 r10 利用率很低,但是数据无价。 安全性和 rebuild 速度都是优势。 还有啊,即使 r6 ,用软 raid ?基于主板 raid ?为什么不上一个列阵卡 |
17
jarlyyn OP |
18
jarlyyn OP @GKLuke
配置和维护我自己来做。 我觉得吧,两块同时 Down 掉和 8 快同时 down 掉的概率应该差不多,比如被水浇了…… 数据库 /ldap 我会做热备份到云服务器上。 raid 的话我还是准备软 raid.应为似乎软 raid 只要是同一个软件(mdadm)就能使用。 列阵卡的话,必须同一芯片? |
19
lecher 2015-09-24 18:39:09 +08:00 via Android 1
如果你不懂服务器的硬件性能应该如何提升,就买商用的塔式服务器放公司。
我就说几点我知道的性能提升选择,内存一定要多通道,通道越多主线总带宽越大,读写效率越高。 服务器的 CPU 没必要太高。 如果要提高磁盘读写性能,一定要买 raid 卡,软 raid 太耗 CPU ,瓶颈全在计算校验上面了。每种 raid 的读写效率和安全性是不一样的,自己根据需求做权衡。 磁盘一定要同系列同系列同系列,不然做什么 raid 。 |
20
GKLuke 2015-09-24 19:22:21 +08:00 1
@jarlyyn 看来 LZ 心里是想好了,硬件方面都是没有问题的,现在讨论的更多的是数据安全性,似乎 LZ 对这个安全性也不是特别在意。我个人意见就是 LZ 决定要这么干了,就要想好如果坏了,这个锅背不背得动。商业环境下,数据无价,而且又要软 raid6 ,同等条件下可靠性没有硬件 r10 来的高。希望这套存储不要坏了
|
21
msg7086 2015-09-24 20:29:33 +08:00
简直虾扯蛋。等我到公司了给你详细解释。
|
22
GeekTest 2015-09-24 20:37:07 +08:00 via Android
买一堆 SSD 做 raid 然后上 10G 网卡 像 linus 那样
|
23
fo2w 2015-09-24 20:48:57 +08:00 1
之前的文件服务器跑了 4 年了。都是非服务器硬件,不太想让它再跑下去了。
... 然后又重新买了一堆非服务器硬件 |
24
crowds 2015-09-24 21:11:40 +08:00
low 到一定境界了
|
25
29488503878 2015-09-24 21:56:49 +08:00
HP Gen8 +8G 内存
两千出头搞定,剩下就是买硬盘的钱 |
27
jarlyyn OP @GKLuke
锅当然背得动,我们公司也没啥我背不动的锅…… 其实 raid10 也好, raid6 也好,已经属于小问题了,以数据安全问题来说,最大的问题不是 btrfs 么……毕竟 raid 的硬盘坏 2 块以上我没遇到过, btrfs 出问题我已经遇到过了 |
28
jarlyyn OP |
30
jarlyyn OP |
32
lavadore 2015-09-24 22:09:07 +08:00 1
文件服务器直接上个现成的 NAS 不就行了,群晖就挺好的,省事不折腾
|
33
fo2w 2015-09-24 22:32:46 +08:00 1
@jarlyyn 我也比较倾向现成的多盘 NAS 解决方案
毕竟配套的管理 /维护 /监控, 以及系统预调试都做得七七八八了 说实话我对 linux kernel 对新硬件的支持一直很诟病, 兼容性或者驱动能否发挥 100%硬件性能我都打个问号 稳定性这个东西, 不是说装起来能用, 或者跑个十天半个月就算了 考验的是长期, 且不出细小的"恶心"人的问题才算数 最后, 当然, 实际情况肯定只有 LZ 了解全盘细节, 仅供参考 |
34
jarlyyn OP @fo2w
之前的方案跑了几年了。当中还经过一次发行版升级, debian 6->debian 7 的。 毕竟这个现在还主要是文件,主要放是放设计稿等的服务器。相应的数据库内容也会同步奥数据库上。 还是感谢您的建议。 |
35
msg7086 2015-09-24 22:47:46 +08:00 5
好了,详细说一下。
# 硬件篇 ## 主设备 不推荐买 6 系。不超频不玩高端游戏,买 6 系做什么? 一个二手 3770 ,或者一个全新 47x0 ,都挺好的。 主板要的是扩展性。 不要纠结板载 SATA 口有多少。万一主板坏了或者换平台了,再多的 SATA 口照样只能扔掉。 不如挑一块双 PCI-E 的板子,插上 HBA 来得实在。 主板换了 HBA 照样能一直用下去,反过来 HBA 坏了也不需要扔主板。 RAID 6 就别考虑软 RAID 了,性能估计成翔了。 以及, rebuild 太不靠谱了,降低难度还是用 RAID 10 吧。 而且你现在的机器如果不扔的话,充当第二备份其实是很好用的。 ## 内存 如果跑很多虚拟机的话就 i7+32G ,如果跑不多的话 32 似乎是用不完的。 然而如果对内存要求再高的话,说不定要用服务器版阿童木才行了。(比如 Avoton 之类) ## 硬盘 混着买也不是不可以,不过我还是倾向于相近的型号。 HGST 似乎故障率是比较低的,如果不差钱就直接撸一排好了。 我自己是希捷控。 ## 散热 给硬盘散热很重要,建议挑那种所有硬盘都有风扇直吹的机箱。 一定要近距离机箱扇直吹的,否则很快温度就彪上 40+了。 # 软件篇 btrfs 坑还是很多,我自己曾经拿来生产用,结果最后坑回 ext4 了。 经常要你手动 rebalance 你怕不怕,不怕的话可以上→_→。 存储的话,根据你们具体情况来定吧。 单盘也可以, RAID 10 也可以,看预算看性能要求。 单盘的话可以用 SnapRAID ,其实是个挺神的东西。 RAID 10 么可靠性高但是成本也高。 定时热备到你二奶服务器上也是个不错的方案,定时 rsync 就好了。 MySQL 也可以实时 Replication 过去。 =*=*= 总之就是,如果没有特殊需要的话(比如 24x7 ),普通家用级硬件就足够了。 (何况家用级硬件我自己家里 24x7 4 年了也没见什么东西坏,除了硬盘要世代更迭以外) 电源买好点,机箱挑个能安插风扇的,别的并没什么要讲究的。 |
36
crazycen 2015-09-24 22:54:03 +08:00 via Android
看来企业规模不大…
|
39
mmmkik 2015-09-24 22:59:04 +08:00 via iPad
直接找 emc 购买不就完了,省事
|
40
jarlyyn OP @msg7086
非常感谢,除了 cpu 方面我没经验,基本和我之前的体验差不多。 btrfs 主要是神记一样的 subvolume,定时 snapshot,增量备份,这点对于文件服务器来说太重要了。 我们的美工们都习惯找我要某个时间点备份的文件了…… |
42
msg7086 2015-09-24 23:07:28 +08:00 1
|
44
hezhile 2015-09-25 00:42:06 +08:00 1
可以考虑 zfs+虚拟化啊,硬盘或者阵列卡直通,性能损失不大。
|
46
hezhile 2015-09-25 01:47:36 +08:00 1
@jarlyyn
呃 我的意思是 zfs ( host os 或者直通) + 虚拟机(跑你的一些 linux only 的应用) 方案嘛 1 , SmartOS ( solaris 内核 原生 zfs kvm 虚拟机) 2 , esxi (将硬盘直通给其中一台跑 freebsd 的虚拟机,再 iSCSI 或者 NFS 出来) 3 , freenas ( freebsd 内核 原生 zfs )+virtualbox 插件 zfs 的优点还是挺多的 很容易搜索到介绍 使用经历的话 我自己单位(非 IT 公司)用一台很破旧的低配置台式机 跑 freenas 提供网络邻居共享 同事 A 的家庭 nas 试过电源线问题烧掉一只硬盘 因为是 raidz1 数据没事 换上一只 重建就好了 |
47
lecher 2015-09-25 02:03:10 +08:00 1
对于要求稳定性的服务器来说,用得起硬件解决的问题尽量用硬件解决。
软件在性能和稳定性上面,和硬件解决方案是有量级的差距的。 硬件架构上面,肯定是要根据需求进行取舍的,又要便宜又要性能和安全性最好是不可能的。 硬盘方案来说,我只说 raid 的事情。单盘不要用 raid ,不管从安全性还是读写效率上面的提升都很有限,效率还不如单盘带日志的 ext4 。做 raid 最好 4 个盘起步。 如果上面要跑虚拟机,最好算一下虚拟机系统正常运行所需的 IOPS ,再选择 raid 方案,磁盘读写速度不够,内存 cpu 配置再高也会卡成狗。 如果是存数据库文件,为了安全最好选 raid10 方案。 如果是给美工用来保存美术文件进行协作读取速度要求高一些,安全性可以降低的, raid5 方案比较合适。 raid6 也可以,冗余更好一些,不过要算两个校验,写入就要牺牲一下了。 家用机配置也带不动多少虚拟机的,主板的内存通道是主要瓶颈。不是内存大就一定能用得上,总线的带宽决定了拖得动几个虚拟机。 |
48
likuku 2015-09-25 02:16:42 +08:00
Dell 的塔式服务器即可。
见到 Btrfs 就习惯性吐槽。。。真不怕坑了你所有文件么? ECC 内存的话,直接上 ZFS 吧。 |
49
likuku 2015-09-25 02:22:09 +08:00 2
ZFS 的成熟度,可靠性 /业内多年实际生产检验,功能丰富性,都不是目前的 Btrfs 能比较的。
zfs on linux 官网说是已经可以放心用于生产环境了。 巴特,我只有 ZFS on OpenSolaris 和 ZFS on FreeBSD 这两的小规模生产环境经验:安全可靠好用 |
50
likuku 2015-09-25 02:27:15 +08:00
|
51
likuku 2015-09-25 02:34:05 +08:00 1
硬盘故障率嘛...之前看到老外的一篇几乎每年更新的 主流硬盘品牌故障率统计表的可参考:
Hard Drive Reliability Update - Sep 2014 : https://www.backblaze.com/blog/hard-drive-reliability-update-september-2014/ |
52
radio777 2015-09-25 08:33:01 +08:00 1
@jarlyyn 做好防雷和 UPS 一般没问题,硬盘真的坏掉了恢复数据很麻烦,所以要做异地备份,最不济也拿个移动硬盘备份一下。
|
53
jarlyyn OP |
54
FifiLyu 2015-09-25 09:03:25 +08:00
|
55
likuku 2015-09-25 09:37:34 +08:00
@jarlyyn so,我也这么觉得 fuse 的 zfs 还不够可靠,所以当前维护的一台存储备份服务器就选的 freebsd 10.1 release 跑在 dell r520 上。
|
56
pubby 2015-09-25 09:43:23 +08:00 via Android
一直是 FreeBSD zfs
看读写压力适当加 SSD 做 log 或者 cache 更好 |
57
likuku 2015-09-25 09:52:15 +08:00 1
因为 ZFS 自身的自动校验+纠错机制,没有 ECC 内存的话,最好不要用它。
半个月前看到的这篇文章讲的很好: Will ZFS and non-ECC RAM kill your data? | JRS Systems: the blog : http://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-your-data/ |
59
likuku 2015-09-25 10:15:57 +08:00 1
另一篇肯定了 ZFS on Linux 已经足够稳定可投入生产使用的博文,供参考:
The State of ZFS on Linux · ClusterHQ : https://clusterhq.com/2014/09/11/state-zfs-on-linux/ |
60
likuku 2015-09-25 10:18:11 +08:00 1
@jarlyyn 其实 FreeBSD 演化很平稳有序,官方手册质量也非常高, Linux 发行版的手册里可以和它匹敌的也只有 gentoo 和 arch
当然,选择自己能掌控的是最好。 最后,商业环境里能花钱解决的就不要自己搞了。 |
61
holinhot 2015-09-25 10:50:43 +08:00
服务器都组装。本身就不靠谱
|
62
zjqzxc 2015-09-25 11:07:59 +08:00 1
1 、当服务器竟然选用 I 系列 cpu 而不是 E 系列,不能忍。
2 、如果考虑 sata 接口数量就太舍本逐末了。楼主有木有听过一个叫做 raid 卡的东西,一个 pcie 插槽请求松松扩展 8 个或更多 sata 接口,而且 raid 性能也有保证。更别说主板上还不止一个 pcie 接口。 3 、三个品牌混合,这是多想考验 raid 卡的容错能力啊。三个硬盘读写速度、响应时间都不一致, raid 卡为了能工作,最大的可能是以速度最慢的那个作为基准。其实就算有一批硬盘有先天问题,肯定不至于一下坏那么多吧。你都 raid6 了, raid5 都不怕的事儿你 6 怕啥。 raid 硬盘组出问题是要立刻马上不带犹豫去换硬盘,不是说我有 raid5 或者 6 了就可以让他带伤运行。绝对不可以。 4 、高温是硬盘的第一杀手,楼主木有提散热问题。曾经把一台家用机挂 6 硬盘( 3T*5+250G 系统盘)跑服务器,硬盘溜溜坏,后来查原因是,发现硬盘温度普遍偏高。之前在一台 dell 服务器里面挂的时候没事儿,换过来就开始坏了。 5 、服务器别组装,出力不讨好。 |
63
zjqzxc 2015-09-25 11:10:00 +08:00 1
补充:软 raid 是坑(性能坑,数据安全性更坑)。。系统崩溃一次有你玩的。
|
64
jarlyyn OP |
65
jarlyyn OP @zjqzxc
1.E 口淘宝货和 2 手东的 I 卡,我还是选择了二手东的…… 2.用软 raid 的理由我也说了。相比硬件,我更相信自由软件一点。硬件指不定哪天就停产了。如果真的觉得不行,我会在测试期再上 pcie 接口的。 3.这个我改了…… 4.机箱我看了下,能上 8 硬盘的基本都有硬盘散热位的。我买的那个也有。我会在安装好后根据情况假装风扇。谢谢建议。 5.内网文件服务器……跑业务的都丢阿里云了…… |
66
likuku 2015-09-25 14:00:02 +08:00
补充:使用冗余配置的 ZFS 被一些资深大牛评价为比很多所谓硬件磁盘阵列柜更加可靠的方式。且不用担心硬件停产后存储坏掉替换硬盘困难的风险。
|
67
knktc 2015-09-25 14:10:20 +08:00
淘宝上买一台二手的 hp dl180g6 就可以了,可以插 14 块 3.5 寸盘,配双路 cpu 啥的,你的需求轻松满足
|
69
msg7086 2015-09-25 14:20:17 +08:00 via Android
i 系怎么了,感情桌面电脑那么多遍布全球的,都是没事要算错要崩溃的 u 么。 e3 系列无非就是多个 ecc 罢了。稳定性本身就是一样的。
|
70
kevinreadonly 2015-09-25 14:24:42 +08:00
|
71
jarlyyn OP |
72
JerningChan 2015-09-25 14:48:46 +08:00
你不是专门的服务器,谈什么稳定呢?对吧
你 cpu 就不够 xeon 的稳定了吧? 还有内存呢?人家服务器都一定要 ecc 的... 还有散热呢? |
73
likuku 2015-09-25 15:52:57 +08:00
相关参考:
71 TiB DIY NAS based on ZFS on Linux : http://louwrentius.com/74tb-diy-nas-based-on-zfs-on-linux.html 20 disk 18 TB RAID 6 storage based on Debian Linux : http://louwrentius.com/20-disk-18-tb-raid-6-storage-based-on-debian-linux.html ZFS 和 ECC 内存: Please use ZFS with ECC Memory : http://louwrentius.com/please-use-zfs-with-ecc-memory.html |
74
kevinreadonly 2015-09-25 15:55:26 +08:00
@jarlyyn 普通 PC 一般是单电源,加装的 raid 卡也不太稳定,大概就这两点劣势。
|
75
kruskal 2015-09-25 16:07:34 +08:00 via Android
4790 默频 3.6 最大睿频 4.0
4790k 默频 4.0 最大睿频 4.4 jd 差价 200 即使上 i7 也没有必要选 4790 啊! |
76
Explorare 2015-09-25 17:24:59 +08:00
不知道笔电上 ZFS 可行不?我之前好像看到有人的方案是 1T HDD + 128G SSD 组了 ZFS ,代码池备份 5 份,系统池三份,真心佩服。现在 2.5 吋的 HDD 都有单盘 1T 的 2T 盘了,感觉牺牲一些容量换稳定也是不错的。可惜 ZFS 不支持 Windows 平台啊。
|
77
maxbon 2015-09-25 17:32:14 +08:00
E5300 的破电脑当服务器用了好几年,目前稳定没出过问题。=。=
|
78
gamingcat1234 2015-09-25 17:36:34 +08:00
3tb 硬盘的 fail rate 据说是最高的
|
79
jarlyyn OP |
80
jianyunet 2016-05-29 23:59:40 +08:00 1
看帖学到了很多东西,我也贡献一个,怎么没人提到私有云的,用 3 台 pc 就可以搭建 Ceph 存储网络,或者 Gluster
|
81
jarlyyn OP 更新 2017-07-20
老服务器还跑着 ldap 和 binddns 新服务器最近有过两次自动重启,然后在我手贱 跑 了 https://www.v2ex.com/t/376558 的测试程序后 彻底坏了,不停重启…… 跟觉 asrock 的 debug 码和替换法,cpu 坏了………………这么多年了第一次看到 cpu 怀了……………… 换了一台空闲办公机器的 i3 上去继续顺利的跑了。累计下线半小时左右…… |