Home Sign Up Sign In
qqq8724
V2EX  ›  问与答

请教个问题，关于 Spark 累加器的

  •   
  •   qqq8724 · Jun 10, 2018 · 1721 views
    This topic created in 2908 days ago, the information mentioned may be changed or developed.

    我在代码中设置了全局变量的累加器，在 map 操作中对他累加之后，在 map 外边再访问的时候，累加器的值又回到了初始值，请问是什么原因

  • 累加器
  • map
  • 累加
  • Spark
    5 replies  •  2018-06-14 09:44:13 +08:00
    kex0916
        1
    kex0916  
       Jun 10, 2018
    map 外访问？没有 action 算子吗？
    qqq8724
        2
    qqq8724  
    OP
       Jun 11, 2018
    @kex0916 有的呀 map 完我还 count 了
    kex0916
        3
    kex0916  
       Jun 11, 2018
    光看你说的情况不太好定位，最好搞个 demo 测下，如果还是有问题可以把 demo 放出来。
    qqq8724
        4
    qqq8724  
    OP
       Jun 14, 2018
    @kex0916 我后来把 map 重分区成 1 的时候，他就可以用了，感谢您的答复
    kex0916
        5
    kex0916  
       Jun 14, 2018
    @qqq8724 🙂
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2959 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 15:02 · PVG 23:02 · LAX 08:02 · JFK 11:02
    ♥ Do have faith in what you're doing.