多个千万级行数的文件，最快的求交集处理是怎么样的。

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 3505 days ago, the information mentioned may be changed or developed.

内容都是 uid\n , shell comm 效果不是很理想。

内容如下：
4234234
123342
42342
3523423
23423

5 replies • 2016-09-22 18:44:00 +08:00

ldbC5uTBj11yaeh5

Sep 22, 2016

挂个 tmpfs, 把文件放到上面去，加上 export LC_ALL=C, 然后再用 comm

HunterPan

Sep 22, 2016

spark so easy

jininij

Sep 22, 2016 via Android

排序后求交集，复杂度仅为 1 。

hinate

Sep 22, 2016 via Android

load 到 hive 里面，查询

zhizhongzhiwai

Sep 22, 2016

@jigloo niubility