入口是一个 shell 脚本，内容大概如下：
python a.py > $CUR_DIR/step1_$date.txt
python b.py < $CUR_DIR/step1_$date.txt > $CUR_DIR/step2_$date.txt
python c.py < $CUR_DIR/step2_$date.txt > $CUR_DIR/step3_$date.txt
python d.py < $CUR_DIR/step3_$date.txt > $CUR_DIR/step4_$date.txt
python e.py < $CUR_DIR/step4_$date.txt > $CUR_DIR/step5_$date.txt
python write_es.py < $CUR_DIR/step5_$date.txt
一个个 txt 看入参出参，一个个脚本看处理过程，有点不适应
 |
1
winglight2016 May 9, 2023
这是基于 shell 的 pipeline 呀
|
 |
2
rizon May 9, 2023 via iPhone
流式数据处理
全链路可调试追踪 (狗头) |
 |
3
v2wtf May 9, 2023
不管他是有意的还是无意的做到的，其实这是非常好的用法，整个过程可以人肉监控、复查，如果其中有一步出错了，那么可以手动去重新执行出错的那步和后续步骤（相当于断点续传）。
这个做法在执行一些需要非常久的时间数据处理操作的时候非常之好用。 |
 |
4
yuruizhe May 9, 2023
挺好的，按步骤记录中间结果，除了有点费硬盘和 io 时间
|
 |
5
burymme11 May 9, 2023
等出问题的时候，你会爱死这些 txt 的。
|
 |
6
fox0001 May 9, 2023 via Android
要检测中间结果，还不如写 log…
|
Select Language