请教 S3 对象存储多服务商、多机房、负载均衡、聚合管理的好方案

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐书目

› 高性能网站建设进阶指南

关于 Google SEO 最好的一本书

这是一个创建于 1892 天前的主题，其中的信息可能已经有所发展或是发生改变。

如题所述，来 V2 吸取点指点和灵感。情况如下

①我们在国内多个地区有大量不同客户的嵌入式设备的 1M~200M 范围视频文件数据需要存储。

②目前使用了三四家不同的云服务商的 OSS/COS （非 AT 大厂），部分城市还有自建的 Ceph 集群。以 S3 接口进行存储。

③客户比较分散，网络状况各异，存储的机房也比较分散。我们希望尽可能使设备自动选择最快的服务商或者最近的城市节点的机房通过 S3 接口进行存储。

④我们希望可以通过一套管理后台，直接管理不同云服务商处的所有 OSS/COS。

目前考虑的问题

A. 嵌入式设备端的处理能力有限。如何能更合理的选择最快的上传地址。ping 延时不可能，因为 OSS 带宽和并发等原因可能会受限。靠中心化服务器来分配，中心化服务器难以判断终端连接哪个 OSS/COS 最快。

B.因为涉及到不同服务商的不同的 AK/SK，还有 endpoint。后台如何能很好的聚合显示管理这些文件。有没有好的开源方案。

谢谢各位大佬指点，或破一下冷水，或提供更好的解决方案

3 条回复 • 2019-09-11 17:55:21 +08:00

jedrek

2019-09-11 17:18:27 +08:00

一般本土的对象存储服务比亚马逊国内的节点多，各地上传速度比 s3 更好。你这种情况使用 s3 可能并不是好的选择

akira

2019-09-11 17:37:57 +08:00

任何大规模体量的实际需求，都很难直接找到一个合适的开源的方案的。赶紧招人开发吧。。

tomczhen

2019-09-11 17:55:21 +08:00 via Android

七牛当初只是想做个照片存储的产品，后面就变成做 CDN 了，了解一下。