这是一个创建于 2158 天前的主题，其中的信息可能已经有所发展或是发生改变。
今天需要捞出一张表的数据（ xxId ），然后插入另一张表中，数据量比较大，200W，并且 xxId 会重复，需要去重之后再插入另一张表。
- 一开始我选择查询出所有的数据，存入 Set 中去重，此时剩余 60W，之后每次 1W 条插入表中，直接 OOM。
- 查询的时候通过 limit 每次捞出 1W 条数据，去重插入，此时原表 xxId 重复，然后导致前后两次去重插入后 xxId 还是重复了。
- 去重通过 distinct，每次捞出 1w 条，然后插入... 效率巨慢，相当于要进行 60 次 distinct....
https://github.com/dackh/blog
blog 喜欢可以 star hhh
 |
1
mull 2020 年 2 月 20 日 via Android
所以最后怎么解决的
|
 |
2
BBCCBB 2020 年 2 月 20 日
你是来推销你的 github 的吧
|
 |
3
rekulas 2020 年 2 月 20 日
直接导出 sql，选择一条数据一条语句，然后批量替换 insert into >> insert ignore into
新表 xxid unique 导入，应该就完了，一行代码都不用写 |
 |
4
heart4lor 2020 年 2 月 21 日
最后还是通过 60 次全表 distinct 吗？有没有更优雅的办法
3L 似乎是个办法 |
Select Language