• 请不要在回答技术问题时复制粘贴 AI 生成的内容
zcguo
V2EX  ›  程序员

有没有懂 flink 实时计算的老哥,请教一个问题

  •  
  •   zcguo · Nov 17, 2019 · 3671 views
    This topic created in 2382 days ago, the information mentioned may be changed or developed.

    我想要计算实时的当日 pv,比如今天是 11 月 16 日,在 11 月 16 日的 3 点要计算一个从 0 点到 3 点时候的 pv,然后 5 点时候要计算一个从 0 点到 5 点的 pv,我看 flink 的滑动窗口和滚动窗口都不能实现这种从固定一个点开始算的需求,该怎么做的这种,谢谢老哥们了

    6 replies    2020-11-11 11:54:39 +08:00
    outoftimeerror
        1
    outoftimeerror  
       Nov 18, 2019
    看你这需求就是求一个累加 和窗口没啥关系
    ebingtel
        2
    ebingtel  
       Nov 18, 2019
    是的不支持……可以变通下:第一条流统计每个小时的、输出;再分别起 3h、5h 的两个流……
    ebingtel
        3
    ebingtel  
       Nov 18, 2019
    @ebingtel 1 天就 24 个点,感觉后面两个流不用起了……数据库查一下就行了
    picone
        4
    picone  
       Nov 18, 2019
    先计算每小时的,存数据库就好了,读取的时候再指定时间。
    5 点时候没必要重复计算 0-3 时的 pv
    xiaoidea
        5
    xiaoidea  
       Nov 18, 2019
    1. 窗口也是基于 state 的,你可以直接在 function 中用 state 作为计数器,计数器的累加根据你的需求可以设计为日期为 key,pv 为 value
    2. 使用外部存储,比如 redis,不好的地方是失败恢复时可能导致数据不准
    FireCat
        6
    FireCat  
       Nov 11, 2020
    每小时一个 Window
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5343 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 49ms · UTC 07:37 · PVG 15:37 · LAX 00:37 · JFK 03:37
    ♥ Do have faith in what you're doing.