V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
Evan0302

怎么从 ES 中取出 20w 数据

  •  
  •   Evan0302 · Sep 19, 2018 · 7194 views
    This topic created in 2788 days ago, the information mentioned may be changed or developed.
    10 replies    2020-09-29 20:23:28 +08:00
    Evan0302
        1
    Evan0302  
    OP
       Sep 19, 2018
    最好一次性取出来
    windfarer
        2
    windfarer  
       Sep 19, 2018 via Android
    prolic
        3
    prolic  
       Sep 19, 2018 via Android
    search after 还是 after search 来的
    ClutchBear
        4
    ClutchBear  
       Sep 20, 2018
    es 我记得一次性最多取一万条.
    没法一次性的,
    只能用 scroll
    qinxi
        5
    qinxi  
       Sep 20, 2018
    @ClutchBear 1W 是默认值 可以改
    reself
        6
    reself  
       Sep 20, 2018 via Android
    @qinxi 不管是 1w 还是多少,search api 禁止深翻页。获取数据请用 scroll。
    Evan0302
        7
    Evan0302  
    OP
       Sep 20, 2018
    公司业务坑爹啊,之前用的 redis:keys。。。。
    rmrdf
        8
    rmrdf  
       Mar 5, 2019
    还是用 scroll 分页查询吧,20w 条 很快的
    demohjw
        9
    demohjw  
       Sep 18, 2020
    @rmrdf 我这边 20 万条,通过 scroll 分页查询取出来,需要 20 多秒,这也太慢了,mysql20 万数据返回都不到 1 秒,这是什么原因呢,我的 es 配置,8 核,8G,能告知一下不
    rmrdf
        10
    rmrdf  
       Sep 29, 2020
    @demohjw scroll size 设置 1w 20s 有点久。。。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1574 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 43ms · UTC 16:44 · PVG 00:44 · LAX 09:44 · JFK 12:44
    ♥ Do have faith in what you're doing.