V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 864 days ago, the information mentioned may be changed or developed.
物联网设备上报的数据，非结构化数据。目前是序列化后直接以时间戳做文件名写 NFS 共享里。然后定时合并压缩到云厂商的对象储存，然后删除本地 。查询的时候 是 NFS 和对象储存一起查询。
感觉不是很合理的样子，本来想自建时序数据库，又不想增加运维复杂度。所以想用云厂商的方案。
直接写入对象储存的话，因为实时数据太小，压缩没啥意义。数据不压缩的话，总体积比较大。
了解到云厂商有表格储存，看起来适合我这个场景。但是没有看明白 CU 单价之类的，所以也就没明白费用到底会有多少。
不知道各位彦祖，有没有其他的方案推荐？
Supplement 1 · Dec 23, 2023
数据是设备的历史数据。
 |
1
ashuai Dec 23, 2023
这数据有啥用？有没有过期策略？还是想永久保留？ OSS 有存档存储类型好像超便宜
|
 |
3
F281M6Dh8DXpD1g2 Dec 23, 2023 via iPhone
写到 sqlite 里面传到 oss 上
|
 |
4
mightybruce Dec 23, 2023
如果你可以花钱的话，可以使用 EMQX 企业版，兼容多种数据库存储。
还支持大文件数据上传。 它提供了 MQTT 协议文件传输能力，允许设备上传大文件数据并将其存储到本地磁盘或 S3 存储 |
 |
5
joyanhui OP @liprais 这个不适合。因为一直有新数据，总不能一直重传 sqlite 文件。如果是依旧分割 sqlite 文件，和我们现在方案没差。
@mightybruce 可能我描述的不清楚。我们已经储存到本地磁盘了，只是在考虑同步到云厂商的储存。方便整理和查询。另外我们是私有协议，已经弃用 mqtt ，并且本地已经落盘，再把数据转发给 emqx 多此一举了。 |
Select Language