有个 txt 大约 5G 左右，差不多有 1 亿多条数据，数据的格式为
2312313 123123123 1231231 qqqqqqq iiiii 1111111
请问大神们使用什么技术能实现快速导入及查询呢，需要模糊查询。。。（个人 PC 机处理（ mac pro ）） 集群什么的搞不起。。。。
This topic created in 3242 days ago, the information mentioned may be changed or developed.
 |
linuxchildDec 25, 2017
1
分割了然后导入数据库？
或者单机 spark ？ |
 |
2
用 elasticsearch 吧，快速上手，查询也快。
|
1 |
stiekelDec 25, 2017 via Android
3
导入有 logstash。
|
 |
gouchaoerDec 25, 2017 via Android
4
5 个 g 而且才一亿条数据，单机 mysql 随便搞
|
|
gouchaoerDec 25, 2017 via Android
5
模糊查询扫表也能扫完吧
|
 |
zhx1991Dec 25, 2017
6
es 应该可以
|
 |
likukuDec 26, 2017
7
mac pro 有 16G 内存呢，5G 全放内存了事。
|
 |
annielongDec 26, 2017
12
仅仅导入应该快，我现在遇到一个每一条记录要先查询 3 个不同表，如果不存在还要保存 3 次，速度根本提不上去
|
 |
2MEDec 26, 2017
13
txt 分割 分割的区块拼接 sql 直接批量插进去 速度挺快的 确实是单机 mysql 随便搞
|
 |
idcspyDec 26, 2017
15
请问有不用数据库的方法没，查询速度慢点都行，导入整理太繁琐了，有个火眼金睛大数据，不过限定了特定行业才能试用。
|
Select Language