V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
shenqi
0.01D
V2EX  ›  数据库

请教个问题, mysql 如何将数据同步到 hive 便于 kylin 使用

  •  
  •   shenqi · Feb 1, 2023 · 1241 views
    This topic created in 1191 days ago, the information mentioned may be changed or developed.
    目前的需求是将现有数据信息(位于 aliyun mysql rds )放进 kylin 进行分析。

    试用了下阿里云的 数据总线 datahub 和 开源大数据 E-MapReduce 和 数据湖 DLF , 也没有对应的 hive 信息。


    之前试过 sqoop 将数据迁移到本地 hive ,写起来很麻烦,还需要将类型转换成 hive 特有的类型写好语法。

    想问下有经验的彦祖们,如何实现这块。kylin 安装的话依赖 hadoop hive 环境,感觉得同一个环境部署。

    假如在阿里云上面将数据迁移成到 hive ( E-MapReduce 那里的集群内的实例),是不是得在这个集群内的实例部署 kylin 。

    希望能给个思路。感觉各位彦祖。
    shenqi
        1
    shenqi  
    OP
       Feb 13, 2023
    暂时还是使用 sqoop 临时将数据全量弄到 hive 来测试。
    后续估计还是 sqoop 全量 + binlog 和消费器做实时。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   919 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 483ms · UTC 20:38 · PVG 04:38 · LAX 13:38 · JFK 16:38
    ♥ Do have faith in what you're doing.