怎么从 ES 中取出 20w 数据

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

› elasticseaerch-analysis-ik

This topic created in 2788 days ago, the information mentioned may be changed or developed.

10 replies • 2020-09-29 20:23:28 +08:00

Evan0302

Sep 19, 2018

最好一次性取出来

windfarer

Sep 19, 2018 via Android

prolic

Sep 19, 2018 via Android

search after 还是 after search 来的

ClutchBear

Sep 20, 2018

es 我记得一次性最多取一万条.
没法一次性的,
只能用 scroll

qinxi

Sep 20, 2018

@ClutchBear 1W 是默认值可以改

reself

Sep 20, 2018 via Android

@qinxi 不管是 1w 还是多少，search api 禁止深翻页。获取数据请用 scroll。

Evan0302

Sep 20, 2018

公司业务坑爹啊，之前用的 redis:keys。。。。

rmrdf

Mar 5, 2019

还是用 scroll 分页查询吧,20w 条很快的

demohjw

Sep 18, 2020

@rmrdf 我这边 20 万条，通过 scroll 分页查询取出来，需要 20 多秒，这也太慢了，mysql20 万数据返回都不到 1 秒，这是什么原因呢，我的 es 配置，8 核，8G,能告知一下不

rmrdf

Sep 29, 2020

@demohjw scroll size 设置 1w 20s 有点久。。。