V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 431 days ago, the information mentioned may be changed or developed.
爬虫史山代码写的真烂，2000 多行就算了，而且一个 headless chrome 的类居然和数据库操作，时间调度功能等等深耦合，让我模仿爬虫 a 的 class 结构写一个爬虫 b ，对应的数据库目前还不存在，调试都很困难，只能一边注释数据库相关的代码一边测试 run ，内心 os 完全不想碰这坨屎山。
 |
1
4UyQY0ETgHMs77X8 Feb 27, 2025
直接 ai 啊，先读取理清一下优化一下再看呗
|
 |
2
MonikaCeng Feb 27, 2025 via iPhone
AI 优化，跑一边，效果一样的话，再让 AI 加新功能
|
 |
3
zhengfan2016 OP @MonikaCeng 跑不了啊，里面一堆和数据库操作的代码混在里面，得先全部注释了才能跑，有些缺的参数还得给他补上
|
 |
4
ovovovovo Feb 27, 2025
2000 行，先丢给 AI 做成模块吧，直接看看的都烦
|
 |
5
sead Mar 8, 2025
快速解析数据： https://github.com/serping/express-scraper
无头集群: https://github.com/seadfeng/headless-browser-clusters 两个结合用，不要太舒服 |
Select Language