最近我加了不少 telegram 上面的图群(你懂得),发现是可以无限往回翻的,一直翻到群建立第一天的消息。甚至 twitter (推特需要高级搜索)和微博也是可以回溯到一个人最初发的消息的。
如果只是文本还好说,这类应用的用户很多都是发的图片和视频。这些企业是怎么面对这样增长的用户数据的啊?感觉过个若干年光是旧数据的保有成本就会扩张到一个无法接受的地步
工业上是如何解决这个问题的?
1
janus77 2022-11-27 18:01:53 +08:00
加机器呗,这又不是什么高端技术,难道国内没有吗?微博了解一下
|
2
me221 2022-11-27 19:41:52 +08:00
加机器. 硬盘不值钱
|
3
wolong 2022-11-27 19:43:33 +08:00
求分享图群
|
4
star7th 2022-11-27 22:54:13 +08:00
就是大硬盘集群扛着。无它。
成本肯定有,但是没有你想象的高。现在的硬盘还是比较便宜的。更大的支出在于流量。存数据没太多成本,读数据,流转数据,流量贵。 因为流量比存储更贵,所以我折腾出了另一种降低流量成本的法子。https://www.v2ex.com/t/877718?p=2 |
5
victorc 2022-11-28 17:49:21 +08:00
某个著名 im 的存储架构正好是我设计的,也是永久保留消息,方案就是 分级存储
1. im 消息的时效性特别强,95%的消息请求都是一周之内; 一周之内的消息用最贵的 nvme 磁盘,更早的可以使用机械盘 2. 产品层面可以对消息存储时间设计一个计费点 |