请教一下 mongodb 千万级数据量查询优化问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐工具

› RoboMongo

Related Blogs

› Snail in a Turtleneck

这是一个创建于 2087 天前的主题，其中的信息可能已经有所发展或是发生改变。

现公司有个日志系统，记录了很多用户的行为日志，后面会根据时间对日志进行统计，比如统计网站的哪个功能最活跃，进的人最多，才开服七天，数据已经达到了一千三百多万条了，然后统计的时候查询特别的卡，该怎么优化呢，v 友给点建议鸭，我已经在时间戳上面添加了一个索引了，但是还是很卡

日志

友给点

数据量

统计

15 条回复 • 2019-03-07 12:01:31 +08:00

hxt

2019-03-06 21:00:17 +08:00

只加了一个索引不够，功能字段也要加索引吧。

BBCCBB

2019-03-06 21:01:17 +08:00

用 es 记录日志，然后统计。

sunnyadamm

2019-03-06 21:12:14 +08:00 via Android

索引加的不到位

jingniao

2019-03-06 22:39:15 +08:00 via Android

查询条件字段加索引
日志类还是 ES 吧……

hilbertz

2019-03-06 22:50:57 +08:00

1. 减少统计时读取的数据量，分段统计
2. 构建同步数据库，在其上进行统计

DsuineGP

2019-03-07 00:16:02 +08:00

反正我们的日志从 mongo 迁到 es 了,一个是 mongo 数据量大了增加索引不方便,另一个是没找到好的办法释放空间

tony601818

2019-03-07 03:27:00 +08:00

换时间序列数据库，比如 InfluxDB

kiddingU

2019-03-07 09:25:24 +08:00

业务场景，mongodb 不适合把，换 es 存储把

mineqiqi

2019-03-07 09:26:52 +08:00

上 es 吧，mongo 性能这么差么，mysql 千万级别的数据索引和查询写得好的话没有很慢

nicking

2019-03-07 10:37:00 +08:00

@jingniao
@BBCCBB
好的，我去了解下这个

nicking

2019-03-07 10:39:35 +08:00

@hilbertz 我这样想过，按天数进行查询，开发成多线程可以不呢

janxin

2019-03-07 10:53:13 +08:00

我猜是索引有问题？你要么 explain 看一下？

hhhzccc

2019-03-07 11:46:17 +08:00

explain 看看索引生效没。

nicking

2019-03-07 12:01:01 +08:00

@janxin springboot 里面怎么看

nicking

2019-03-07 12:01:31 +08:00

@hhhzccc 官方提供的工具里面生效了的，但是 springboot 里面我不知道怎么看