V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
bugmakerxs
V2EX  ›  程序员

读隔壁部门代码发现的骚操作

  •  
  •   bugmakerxs · 2023-05-09 10:41:00 +08:00 · 2072 次点击
    这是一个创建于 549 天前的主题,其中的信息可能已经有所发展或是发生改变。

    入口是一个 shell 脚本,内容大概如下:

    python a.py > $CUR_DIR/step1_$date.txt
    python b.py < $CUR_DIR/step1_$date.txt > $CUR_DIR/step2_$date.txt
    python c.py < $CUR_DIR/step2_$date.txt > $CUR_DIR/step3_$date.txt
    python d.py < $CUR_DIR/step3_$date.txt > $CUR_DIR/step4_$date.txt
    python e.py < $CUR_DIR/step4_$date.txt > $CUR_DIR/step5_$date.txt
    python write_es.py < $CUR_DIR/step5_$date.txt
    

    一个个 txt 看入参出参,一个个脚本看处理过程,有点不适应

    winglight2016
        1
    winglight2016  
       2023-05-09 12:19:33 +08:00
    这是基于 shell 的 pipeline 呀
    rizon
        2
    rizon  
       2023-05-09 12:19:54 +08:00 via iPhone
    流式数据处理
    全链路可调试追踪
    (狗头)
    v2wtf
        3
    v2wtf  
       2023-05-09 12:27:09 +08:00
    不管他是有意的还是无意的做到的,其实这是非常好的用法,整个过程可以人肉监控、复查,如果其中有一步出错了,那么可以手动去重新执行出错的那步和后续步骤(相当于断点续传)。

    这个做法在执行一些需要非常久的时间数据处理操作的时候非常之好用。
    yuruizhe
        4
    yuruizhe  
       2023-05-09 12:32:24 +08:00
    挺好的,按步骤记录中间结果,除了有点费硬盘和 io 时间
    burymme11
        5
    burymme11  
       2023-05-09 18:26:58 +08:00
    等出问题的时候,你会爱死这些 txt 的。
    fox0001
        6
    fox0001  
       2023-05-09 21:06:41 +08:00 via Android
    要检测中间结果,还不如写 log…
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2722 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 14:28 · PVG 22:28 · LAX 06:28 · JFK 09:28
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.