现状
我们在做量化(目前是数字货币),每天有几个 G 的数据,以后还会更多(现在只抓了一个交易所有限的交易对),所以想线上数据库保留最近几天的数据,然后本地建一个备份(完整的),我们现在没有运维
为什么这么干
交易所都在境外,所以我们用 HK 的服务器抓数据,因为翻墙不靠谱。用的 aws 的数据库,如果不做归档,数据会非常大,直到我们负担不起,毕竟现在还没赚钱呢
我们设想的方案
我们用的是 postgresql
不论何种方案,最终的结果就是归档并删除已归档的数据,所以排除了 pg_dump、pg_dumpall
- wal 备份,但是问题是不能排序删除操作,所以本地数据恢复的时候也会把删除的操作给干了
- 用脚本扫描每一个表,根据时间点备份之前的数据,然后删除这个时间点之前的数据,本地备份机器拿到备份文件后导入到数据库,这个可行性是没问题的,但是有开发工作量,并且稳定性和可靠性没有保证
最后想到这里大神多,看看有没有更好更成熟的方案,射射大家。