有没有这样一种数据库？历史数据自动按文件分块，可以随意拷贝删除。

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 2438 天前的主题，其中的信息可能已经有所发展或是发生改变。

例如，创建数据表的时候指定一个时间戳的列，和一个文件存储路径，该表内的数据自动按日期区间存成多个物理文件。

关键是，这些物理文件可以随意删除，还原而不影响上层的查询统计，有数据就查，没数据就跳过。

这样，就可以使用物理文件迁移的方式随意备份和删除历史数据，需要查询它的时候把文件拷贝回来就可以了。

第 1 条附言 · 2018-03-15 10:03:25 +08:00

折衷的解决办法：

分表写入数据，data_2016, data_2017, data_2018, ...

备份时直接拷贝 mysql 文件，data_2016.frm, data_2016.idb

然后可以删除 data_2016 中的全部数据，delete * from data_2016

恢复时需要停止 mysql 数据库，将 data_2016.frm, data_2016.idb 覆盖回来。

第 2 条附言 · 2018-03-15 10:04:59 +08:00

查询比较简单，做个视图 union data_2016, data_2017, data_2018 几个表即可。

文件

删除

物理

数据

16 条回复 • 2018-03-15 16:43:48 +08:00

zjb861107

2018-03-14 22:46:35 +08:00 via iPhone

试试分库分表？

loading

2018-03-14 23:34:17 +08:00 via iPhone

程序内部分表，底层用 swlite，简单啊。

loading

2018-03-14 23:34:23 +08:00 via iPhone

sqlite

hcymk2

2018-03-15 00:07:17 +08:00

MySQL Partition 有类似的功能，但不是通过物理文件来实现的。

enzo113

2018-03-15 00:17:18 +08:00

hive 的外部表+partition 可以，但是 hive 未必是你想要的那种数据库

bfbd

2018-03-15 09:16:17 +08:00

@loading 程序内部分表，查询的时候就得自行拼接查询结果，如果是排序后分页，SQL 语句一句搞定（ limit, offset ），程序就得自己拼接来自多个表的查询结果。

bfbd

2018-03-15 09:26:52 +08:00

@zjb861107 分库分表解决的是读写性能问题，现在是想实现非全库全表的备份、删除、以及恢复，而且是在数据量比较大的时候，比如几十，几百 G。

bfbd

2018-03-15 09:49:22 +08:00

@zjb861107 或许可以用分表存储，分表备份和分表导入的方式实现。

例如：查询视图 DATA 包含 data_201801, data_2018_02, data_2018_03 ... 等多个数据表，备份 data_201801 后删除其中数据，如果要恢复数据，将备份文件导入到 data_201801 即可。
虽然不如物理文件方便，但貌似可行。