inkWave
V2EX  ›  问与答

nodejs + mongodb,用 mongoose 查询返回百万级数据,内存吃不消怎么办

  •  
  •   inkWave · Feb 28, 2019 · 1937 views
    This topic created in 2634 days ago, the information mentioned may be changed or developed.
    现在业务大概是这样,要对查询回来的每一条结果,都要做一些格式上的修改,然后生成文件.

    但是查询出来的一般都是百万级的数据,一下子内存就涨个 300M,有点吃力,除了加内存外,想在查询方面做些优化.请各位指点一下.

    现在查询用的是 mongoose.aggregate(aggregateExpression).cursor().exec();返回的结果逐条做一些修改,修改后 push 到一个流里.最后把流写个文件出来.

    但是现在每次查询结果回来内存就撑爆了,也没查到 mongoose 如何返回一个流结果,请问该怎么优化一下?
    1 replies    2019-02-28 11:15:31 +08:00
    EPr2hh6LADQWqRVH
        1
    EPr2hh6LADQWqRVH  
       Feb 28, 2019
    不要 exec, 在 cursor 上 on 就可以了

    https://mongoosejs.com/docs/api.html#query_Query-cursor
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2403 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 16:11 · PVG 00:11 · LAX 09:11 · JFK 12:11
    ♥ Do have faith in what you're doing.