V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
zhxjdwh
V2EX  ›  问与答

一个弱智的问题, hive 数仓的数据同步,如果源数据库里面的数据被修改了,那怎么办

  •  
  •   zhxjdwh · Jan 1, 2020 · 2069 views
    This topic created in 2321 days ago, the information mentioned may be changed or developed.
    如题:hive 数仓的数据同步,如果今天订单导入 hive 了,第二天用户又修改了订单信息,那怎么办?这样 hive 里面的数据就是脏数据了,这样的话,做分析统计 就跟实际的情况 就会有比较大的差异了
    ------
    是不是还要一个数据更新的机制?这个一般是怎么处理的?
    3 replies    2020-01-03 08:24:44 +08:00
    laimailai
        1
    laimailai  
       Jan 2, 2020
    我们是每天覆盖
    laimailai
        2
    laimailai  
       Jan 2, 2020
    还有个拉链表方案去看下
    zhxjdwh
        3
    zhxjdwh  
    OP
       Jan 3, 2020 via Android
    @laimailai 谢谢,我了解一下
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1033 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 18:28 · PVG 02:28 · LAX 11:28 · JFK 14:28
    ♥ Do have faith in what you're doing.