几个亿的照片以及视频文件，怎么存储比较好？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1929 天前的主题，其中的信息可能已经有所发展或是发生改变。

不太会处理啊，目前有近亿的图片存在 gp 库中，查询速度还是秒级的，最近来了几个亿照片，想直接存在文件夹，但是怕硬盘挂掉就欲哭无泪。目前要求是：能满足增量，备份不麻烦，调用较快就行了，要求是数据绝对不能丢失。大家一般怎么处理大量图片的？求个方法，谢谢各位大佬了。

12 条回复 • 2019-07-31 09:56:26 +08:00

whileFalse

2019-07-30 17:44:54 +08:00 via iPhone

存云里

whp1473

2019-07-30 19:37:32 +08:00

私有可以考虑 FastDfs、HDFS，均可以集群部署。
公有可以考虑阿里云 OSS 等。

rrfeng

2019-07-30 19:51:59 +08:00

hdfs 不合适『海量小文件』场景。
能上云的话最简单省事儿，便宜又可靠。
不能上的话海量小文件存储，也有很多方案。比如淘宝 TFS 以及腾讯 TencentFS，主要解决高可靠性，可索引，合并存储等问题。

4SM

2019-07-30 20:45:55 +08:00

上亿张照片是什么概念？ 100000000÷100 年÷365 天÷24 小时÷60 分钟≈1 张照片 /30 秒。
？

x2ve

2019-07-31 00:00:29 +08:00 via iPhone

@whileFalse
@whp1473
@rrfeng
感谢三位，目前这边是有云平台的，但是是局域网。给的建议也是 hdfs，但我这边不太熟悉，怕误操作了后续留坑，所以就来 v 站问问看还有其他方法不。

x2ve

2019-07-31 00:02:23 +08:00 via iPhone

@4SM
历史数据，没有算的这么夸张啦

chinesestudio

2019-07-31 01:34:14 +08:00 via Android

就这么点数据 ceph 搞定备份都不用

fireapp

2019-07-31 06:57:02 +08:00 via iPhone

当然是 s3 的开源方案 minio 啊，小文件利器

alexkkaa

2019-07-31 08:20:54 +08:00 via Android

张嘴就来存云里的，你家是开矿的吗

jaskle

2019-07-31 08:31:12 +08:00 via Android

[email protected] 好人一生平安

greatdancing

2019-07-31 08:58:29 +08:00 via Android

@avs10019 说不定公司业务比挖矿还值钱呢

hushulin

2019-07-31 09:56:26 +08:00

[email protected] 好人一生平安