持续写入 10 亿条哈希到 MongoDB 其中一半重复 先建 Unique 索引每次检测重复还是最后统一检测一次重复性能更好？
whereabouts · 2018-09-26 14:36:55 +08:00 · 1171 次点击这是一个创建于 2251 天前的主题，其中的信息可能已经有所发展或是发生改变。
数据仓库类的应用，有 10 亿条 Hash 数据要插入到数据库中，就 Hash 一个字段，其中一半是会重复插入的，需求是最后 Hash 字段要唯一。
方法 1.如果一开始直接对 Hash 字段做 Unique 唯一索引，那么数据库自己检测是否重复了，但是随着数据量增大，每次检测重复的性能开销是否值得？
方法 2.插入完成后做一次去重处理，把唯一的 Hash 值导入到新的表里。
机器硬件配置一般，所以想问一下哪种方法性能上好一点。
另外 MySQL 和 MongoDB 哪个更适合做这项任务吗？
方法 1.如果一开始直接对 Hash 字段做 Unique 唯一索引，那么数据库自己检测是否重复了，但是随着数据量增大，每次检测重复的性能开销是否值得？
方法 2.插入完成后做一次去重处理，把唯一的 Hash 值导入到新的表里。
机器硬件配置一般，所以想问一下哪种方法性能上好一点。
另外 MySQL 和 MongoDB 哪个更适合做这项任务吗？
 |
1
fireapp 2018-09-26 15:07:11 +08:00 via iPhone
bulong
|
 |
3
luckychenhaha 2018-09-26 15:17:12 +08:00
bloomfilter
|
Select Language