限制要求
最近在测试对比海量图片存储的方案,先说一下限制要求:
- 是给定 路径和图片 存下来, 后期需要根据给定路径去提取图片。
- 图片大小是 300~700K
- 每日图片量大约在 2000W+,存储占用约 7T。
当前选了两个方案
- HBase(K-V)。测试发现中后期数据量变大后, split 略频繁有时还会出错导致节点挂掉。
- Ceph。使用 Ceph 的分布式存储提供 块存储 服务,然后将块挂载到 xfs 文件系统中,然后将文件写入文件系统即可。
测试结果
最近部署了这两套系统后对比测试,发现 HBase 的图片加载平均用时 200ms, 而 Ceph 的平均加载用时在 300~1000ms 波动较明显。
相关问题
请问有没有搞过图片存储的大神给提下意见建议,上面 Ceph 300~1000ms 的用时是否正常,或者有没有更好的方案可以用?
谢谢!