公司的业务需要大量使用对象存储，目前在 AWS 的账单已经超过了 EC2 和流量了。
如果自建 S3 ，需要做哪些准备？(数据必须在美国)
我们公司的运维能力比较弱(我是开发)，没有相关人员驻扎在美国，需要尽可能小的降低运维成本。
目前了解到的软件是用 Minio ，其他硬件、机房、宽带等系列问题不太清楚要怎么弄。
PS: AWS 是真贵啊！
如果自建 S3 ，需要做哪些准备？(数据必须在美国)
我们公司的运维能力比较弱(我是开发)，没有相关人员驻扎在美国，需要尽可能小的降低运维成本。
目前了解到的软件是用 Minio ，其他硬件、机房、宽带等系列问题不太清楚要怎么弄。
PS: AWS 是真贵啊！
第 1 条附言 · 5 天前
我看了这个博文才想到自建的 https://vonng.com/cn/blog/cloud/s3/
文章提到：自建的成本是 aws 服务商的 0.5 ~ 1 折。
这个文章没提到关键的硬件、机房等部分，可能他们已经有成熟的机房了吧，而且也是国内的。
看来还是不适用我的场景(量还是不够吧, 百级 PB 以上才合适？)
更换费用更低的服务商也许是比较靠谱的选择。
文章提到：自建的成本是 aws 服务商的 0.5 ~ 1 折。
这个文章没提到关键的硬件、机房等部分，可能他们已经有成熟的机房了吧，而且也是国内的。
看来还是不适用我的场景(量还是不够吧, 百级 PB 以上才合适？)
更换费用更低的服务商也许是比较靠谱的选择。
32 条回复 • 2024-12-07 15:46:30 +08:00
 |
1
qishua 5 天前
没看明白你的具体需求，是 s3 的费用很贵，还是说你们没用 s3 ，在 aws 上买的 ec2 ，然后自建 minio ，然后访问
|
|
2
qishua 5 天前
要是只想换对象存储的话，推荐换阿里云 or 腾讯云的对象存储，费用差不多比 aws 便宜一半左右
|
 |
4
aru 5 天前
先确定下你们的规模和现在的费用吧
可以换其他家的 s3 服务，可以便宜很多 https://www.backblaze.com/cloud-storage/pricing 自建你得先找个懂的人聊聊，然后招一个全职运维 |
|
6
qishua 5 天前
完全自建的话，则需要找下国内的供应商，租对应地域的 idc 服务器，这个费用和云厂商对比起来，并不会优惠更多。
你也可以考虑小的云厂商，ucloud 、金山云等等。 |
|
7
qishua 5 天前  1
@chanlk 那你们需要招个全职 SRE 了，然后根据你们预算，来选择是否两地多活。
自建的话，可以找一些国内做出海业务 IDC 机房的厂商，租用他们的服务器，这样服务器的高可用 or IDC 的容灾管理交予他们了。你们只需要负责好服务器加服务器上面的业务即可。 两地多活，则推荐选择两个不同的 idc 供应商，彼此之间的通信通过专线打通。 |
 |
10
wei2629 5 天前
多少 pb 啊。自建未必便宜，机房机架网络， 硬盘坏了要有人管， 还要备份。还必须专门培养团队，保证 sla 。 或者外包给 idc 的团队啥。最好还是 认真核算下 。
|
 |
12
aggron 5 天前
不要自建，既然海外用户，用 cloudflare 的 R2 ，不收流量费，api 还没 s3 兼容（大部分）
|
 |
13
shiny 5 天前
自建 MinIO 吧，可靠性可以靠 replication
|
 |
14
humbass 5 天前 via Android 1
op ，要上 cdn ，aws 的 cdn 的叫 cloudfront ，价格只有 s3 的 1/4 - 1/5
|
 |
17
blueswhisper 5 天前
楼主家这预算，多家云厂商比价吧。
100+w 的预算，最多招两个 sre 就没了， 还不算你自建的服务器成本。 不知道你们这个 s3 存储是干嘛的，如果是常见的静态资源场景，那么上 CDN 应该能帮你们挡掉大部分的费用。 写多读少的话，S3 不同等级的存储也用起来，业务上做些优化策略，也能省点钱。 |
 |
18
chanlk OP @blueswhisper 用户的视频数据哈，家用摄像机的。
|
 |
19
zsj1029334 5 天前 via iPhone
Ceph 集群，多种支持文件，对象都可以
|
|
20
blueswhisper 5 天前
@chanlk 这种场景的话，你们这就类似于网盘逻辑了。是不是对应服务的定价太低了？或者说定价策略不太合理？
从楼主的预算推测，短期内你们也没有资源投入到底层存储的建设，这部分技术红利需要适当的投入才能吃到，开源确实有很多解决方案，但是要保证可用性，成本，性能都需要资源投入，不是随便找个开源软件部署下就可以的，否则出了问题一群人抓瞎，对你们的服务信誉打击是毁灭性的。那么你们只能从商业策略上，把这部分的成本通过合理的定价转移给用户。 |
 |
21
ihciah 5 天前 1
S3 有不同的类型，你得根据需求选择合适的，如果可以牺牲一部分延迟的话可以大大降低成本。
甚至可以分析用户回放频率，以及分析新旧的视频回放频率来调整 S3 存储类型。 例如 S3 标准类型 $0.023 per GB ，Glacier Instant Retrieval 就只要 $0.004 per GB ，S3 Glacier Deep Archive 甚至只要$0.00099 per GB 。 |
 |
22
dann73580 5 天前
个人项目自建过刚到 pb 门槛的机器，基本上就是租了 8 台机器组了 minio 集群。你们这个体量应该可以和靠谱的 idc 下订单了，我就说一个点，一定要找服务给力的。我之前没经验，遇到个售后不好的 idc,换硬盘就换了三四天，很着急。
考不考虑去美国的 ovh 租赁杜甫自建啊？大厂还是稳定一些。 |
|
23
dann73580 5 天前
@dann73580 另外补一句，我觉得如果你们公司每年只有 100 万（人民币？）的预算，10PB 规模可能不够用。按照我的计算，10PB 一个月的开支大概在 2.5W-3W 美元左右，一年要 140+了，这还是纯基础成本。
|
|
24
dann73580 5 天前
@dann73580 #23 在美国我说一个比较合适的基准价格，每 TB/2.5-3 刀，是自建 S3 的常规价位（包含机器租赁，带宽，机架空间，电力费用等），比这个低，那就说明你的冗余度拉的实在是太低了（低冗余可以做到每 TB/2 刀，但不适合跑关键业务，适合备份），这是一道简单的数学题。更不要说你业务在美国，有没有必要考虑合规问题，选择合适的，有认证的商家，等等等等，我觉得这个事没想的那么容易……
|
 |
25
ZE3kr 5 天前 via iPhone
按照你这个需求只需要换成 S3 Intelligent-Tiering storage class 就可以便宜很多
|
 |
26
joynvda 5 天前
安防监控的视频，不适合使用 CDN 。同一视频内容也就是极有限的人看。
如果是用户付费的视频需求。倒不如提升网络到用户边侧的链路；用户要回看近期，直连过去。 如果要求长时间保存，才用到数据中心的对象存储。选择 归档类型 会便宜很多。 |
 |
27
caola 5 天前
读得很少的话，直接在国内弄两台服务器到机房托管就行了，
如果是面向国际，直接去香港托管也不算贵太多 |
 |
28
dearmymy 5 天前
minio 建好后使用跟 s3 差不多，如果是纯想便宜，多找几家测试几家不限流量 vps 对比出最合适的把，我觉得初期花钱外包写一个 docker ，还有基础运维脚本，之后你单独就着改就行，出去花万把块找踩过坑的人写下把。自己之后根据清空在去改，有 gpt 也简单很多。
之前我也是因为存储经常变，s3 实在太贵了，自己买个大流量 vps 自己建了。很好用，省不少钱 |
 |
29
northbrunv 5 天前
一个 P 不限流量的独服大概一个月 1000 刀，小厂可能有 500 刀，10P 价格大概月付 5000 刀-1w 刀
年付 6w 刀-12w 刀这个样子。 100w 如果是人民币的话，折腾半天费用不见得能减掉多少 |
 |
30
SenLief 4 天前
10pb ，估计流量也不小，你这个自建未必会省钱，还必须要招运维。
|
 |
31
zizon 4 天前
你先试试分层存储吧.
冷数据价格砍半. |
 |
32
ZhiyuanLin 4 天前
Backblaze B2, Cloudflare R2, Wasabi, StorJ ，都是 S3 兼容但比 S3 便宜很多。
|
Select Language