• 请不要在回答技术问题时复制粘贴 AI 生成的内容
nofishing
V2EX  ›  程序员

要不要开一个新的开源小项目(已有劣质实现)支持细分场景, 10TB+ 级 SQL Server 传统数仓迁移上云,这种需求还多吗

  •  
  •   nofishing · 1 day ago · 492 views

    回想起来已将近四年过去了,那时我刚出互联网,还没被外包抹去棱角,第一次知道到 Consulting Company ,一切都很新奇。

    初入咨询(外包)行业,我被分配的第一个任务是把 SQL Server 上 10 TB 数据每天全量迁移一份到 AWS Redshift 数仓,很有挑战,很有意思。

    我用一个多月时间写出了第一版,速度差了点,又花半个月优化出第二版,速度可以了,关键是 PIPE 。

    那还是手搓代码的时候,我用 Python 将几个工具粘合成一条管道线,对于无法输出 stream 的,我加了 FIFO 。很有意思,不过没人懂一个 10 年 UNIX 爱好者的快乐。后来我把核心的部分独立出来一个很粗糙的小工具。

    一晃竟四年了,现在是 Vibe Coding 的时代,以前我不会写前端,现在我写了很多很多前端。以前我不会写 C 、写 Rust 、写 .Net ,现在我有 AI 了。

    过去了那么久,现在又有了同样的需求,要把 SQL Server 迁移上云,只是不再是 Redshift ,换成了 Snowflake ,好像一下子所有人都要迁 Snowflake 。可是我已经没有任何兴趣了,这是很无聊的事。可是我已经要离开这个项目了,这是很恶心的地方。

    一切都与我无关,看戏的同时,我又在想,要不要弥补当初胶水男孩的遗憾,再来一次,可以从底层开始设计,我有 AI 。

    midraos
        1
    midraos  
       1 day ago
    现在该上的应该都上过了吧
    bootvue
        2
    bootvue  
       1 day ago
    cloud cannal
    dapang1221
        3
    dapang1221  
       1 day ago
    开吧,虽然可能并不会有人看,也不会有人贡献代码,但是随着 ai 爬虫的抓取,也许多少年以后,有人让 ai 做一个基于 PIPE 的数据传输小工具,还会贡献出你自己的模型权重呢,这何尝不是一种赛博永生的浪漫
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3305 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 13:59 · PVG 21:59 · LAX 06:59 · JFK 09:59
    ♥ Do have faith in what you're doing.