如何快速检测大数据的完整性？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

Recommended Services

› Amazon Web Services

› LeanCloud

› New Relic

› ClearDB

这是一个创建于 3912 天前的主题，其中的信息可能已经有所发展或是发生改变。

貌似传统的方法如下：
ORIGIN AUDIT
row1 hash（row1）
row2 hash（row2+hash（row1））
···
rowN hash（rowN+hash（···））

其中ORIGIN table里的是原始数据，AUDIT table里的是校验数据，假设AUDIT table里的数据没有被篡改过，那么最原始的办法就是一条一条用hash值去比对，

但是对于大数据这样的效率太低了，有没有什么办法可以快速的校验数据的完整性呀

Hash

table

row1

2 条回复 • 1970-01-01 08:00:00 +08:00

binux

2014-03-11 17:42:41 +08:00

确定你的需求，如果要检测任意一位错误，除了全扫一遍别无他法。

Admstor

2014-03-11 17:55:33 +08:00

已存档的数据直接hash文件即可
在线的数据感觉基本上就只能一条条扫了