关于数据同步的有效性校验

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2480 天前的主题，其中的信息可能已经有所发展或是发生改变。

如题，数据同步，类似定时任务啊实时数据同步之类的，有没有一些好的做数据校验的思路？

8 条回复 • 2018-02-11 08:58:58 +08:00

dissvm

2018-02-09 13:56:25 +08:00 via iPhone

楼下第一眼看成有效性经验的举手🙋‍♂️

qumingkunnan

2018-02-09 15:44:53 +08:00

之前有个项目，Java 的。一个类里面包含常用的校验规则，每个数据表实现一个，然后解析的时候同时校验，没有涉及同步这个事儿，只是校验

PazuLee

2018-02-09 15:51:05 +08:00

@dissvm 哈哈哈哈哈
@qumingkunnan 对，其实同步的痛点是怎么保证和源数据的一致，尤其是经过一部分业务逻辑处理的。这个目前只想到查询数据源去比对，但是感觉效率比较低。

0Kelvin

2018-02-09 15:54:16 +08:00

数据序列化，计算 md5，传递，接收校验。
没实际操作过，不知道思路对不对，（逃

qumingkunnan

2018-02-09 16:36:35 +08:00

@PazuLee 模仿 http 握手机制呢

PazuLee

2018-02-09 16:40:06 +08:00

@0Kelvin md5 可能存在某些局限性，因为通常存在痛点的场景是对数据做了加工改造，一旦与源数据格式不同可能 MD5 方式就失效了。:(

PazuLee

2018-02-09 16:40:23 +08:00

@qumingkunnan 这个倒是没有考虑过，怎么讲呢~

qumingkunnan

2018-02-11 08:58:58 +08:00

@PazuLee 我们应用场景是提供数据文件包给一些使用方，有客户端服务端，每次传输文件都采用回执方式确认数据完整已达，详细的不是特别了解，因为不开源，对内部都不开源…………