全库遍历速度哪家强？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3648 天前的主题，其中的信息可能已经有所发展或是发生改变。

业务中需要对数据库中4000万条数据进行逐条遍历，数据总量20多G，要求1分钟内能取出所有数据。
目前使用的是MongDB，一主一丛，16G内存。并发查询最快3分钟多钟完成。且并发数多了会变慢。
有没有其他更好的方案可以提升全库遍历的速度？比如哪种内存数据库？

并发

数据库

内存

13 条回复 • 2014-11-11 10:09:29 +08:00

kingwkb

2014-11-10 17:16:03 +08:00

redis

ipconfiger

2014-11-10 17:30:23 +08:00

文件

uleone

2014-11-10 17:32:29 +08:00

@kingwkb redis的全库遍历怎么做？SCAN命令吗？速度怎么样？

uleone

2014-11-10 17:33:10 +08:00

@ipconfiger 文件会比MongoDB快吗？

ipconfiger

2014-11-10 17:42:15 +08:00

@uleone 直接下载啊，当然快啦

ziyuan

2014-11-10 17:55:36 +08:00

理论上，内存数据库+网格计算是最快的了，成熟的产品有oracle exdata，如果不考虑成本的话

vietor

2014-11-10 17:57:20 +08:00

可以考虑使用 ElasticSearch

msg7086

2014-11-10 17:57:47 +08:00

数据20G，内存16G，你是怎么放进内存里的……

如果是读写硬盘的话，你们用了SSD RAID了吗？

uleone

2014-11-10 18:02:36 +08:00

@msg7086 目前MongoDB是16G，肯定不是全在内存中。其他方案的话内存可以加，SSD用不上。

msg7086

2014-11-10 18:11:48 +08:00

@uleone 没有SSD，内存也不够全放的话，势必会受到机械磁盘读写速度的影响，每秒只能随机寻找100次数据，最多了。

Kabie

2014-11-10 18:12:17 +08:00

....不是全内存肯定会慢吧。。。

你先试试能完全放在内存里的数据……

charlestang

2014-11-10 19:51:10 +08:00

楼主是不是应该介绍一下数据的类型，比如4000万行数据，有几个字段，分别什么类型的，全是整数，还是全是字符串，或者别的。为什么需要的不是查询，而是全部遍历？这个需求本身比较奇怪吧……

hiddenman

2014-11-11 10:09:29 +08:00

真羡慕有这么多数据的环境。