This topic created in 4190 days ago, the information mentioned may be changed or developed.
业务中需要对数据库中4000万条数据进行逐条遍历，数据总量20多G，要求1分钟内能取出所有数据。
目前使用的是MongDB，一主一丛，16G内存。并发查询最快3分钟多钟完成。且并发数多了会变慢。
有没有其他更好的方案可以提升全库遍历的速度？比如哪种内存数据库？
目前使用的是MongDB，一主一丛，16G内存。并发查询最快3分钟多钟完成。且并发数多了会变慢。
有没有其他更好的方案可以提升全库遍历的速度？比如哪种内存数据库？
 |
1
kingwkb Nov 10, 2014  1
redis
|
 |
2
ipconfiger Nov 10, 2014 1
文件
|
 |
4
uleone OP @ipconfiger 文件会比MongoDB快吗？
|
|
5
ipconfiger Nov 10, 2014
@uleone 直接下载啊，当然快啦
|
 |
6
ziyuan Nov 10, 2014 1
理论上，内存数据库+网格计算是最快的了，成熟的产品有oracle exdata，如果不考虑成本的话
|
 |
7
vietor Nov 10, 2014 1
可以考虑使用 ElasticSearch
|
 |
8
msg7086 Nov 10, 2014 1
数据20G，内存16G，你是怎么放进内存里的……
如果是读写硬盘的话，你们用了SSD RAID了吗？ |
 |
11
Kabie Nov 10, 2014 1
....不是全内存肯定会慢吧。。。
你先试试能完全放在内存里的数据…… |
 |
12
charlestang Nov 10, 2014
楼主是不是应该介绍一下数据的类型，比如4000万行数据，有几个字段，分别什么类型的，全是整数，还是全是字符串，或者别的。为什么需要的不是查询，而是全部遍历？这个需求本身比较奇怪吧……
|
 |
13
hiddenman Nov 11, 2014
真羡慕有这么多数据的环境。
|
Select Language