想想来时路 一开始,我只是想做自媒体,抓点站点数据。结果爬虫简单,维护起来没完没了。为了少维护,那时候想早上去上班晚上回来拿数据,不用自己值守,于是就开始给自己找方向。
那时开始构思这样一个工具:不用给每个网站单独写规则,在允许的范围内,把页面上能核对的事实交出来。我从第一个站开始,记得那时候 GPT5 刚发布不久,一点点摸索、踩坑、研究哪些规律换到另一个站还成立。弯路走的太多,第一版建模核心做出来时,已经过去半年。
后来 OpenClaw 火了,我开始想,能不能把这套感知交给 Agent 用。那段时间经常熬夜琢磨一件事:同一个网页,我扫一眼就知道该点哪,模型怎么就走偏了?它是没看到、理解错了,还是点了以后页面根本没变?
我开始把模型当时看到的页面、选中的对象、动作后的变化都存下来。最早一次记录只有几百 KB ,后来硬盘里攒了约 120 GB 的记录。慢慢地,任务跑偏时,我终于可以回到那一步,看看是页面没把事实交出来,还是模型拿着事实做错了判断。
后来系统慢慢健壮,我想知道一件事,自己做的东西能不能跟 Browser Use 掰掰手腕。于是挑了一道从 Investing 查行情、再到 SEC 找申报文件的题,做了六对同题测试。两边都用 DeepSeek V4 Pro ,适配和运行配置有差异。按同一套固定规则,EH 过了 6 次,Browser Use 过了 1 次。结果只说明这道题、这两套配置下发生了什么。对我来说,也算是没有观众的一次自我证明。
再后来稳定性验证,50 道自然语言任务,有经验和无经验各跑了 3 轮,共 300 次。两组各累计跑了十多个小时,执行期间没有人工接管。我事后逐份核交付,298 份通过。那些没交好的任务也有价值:有记录可翻,就知道该从哪儿查。
还有个没想到的收获:可审计的运行记录也能拿来训练模型。用熟悉任务前十遍的记录继续训一个 1.7B 模型,在之后 2,805 个离线步骤里,它选中同一控件的比例是 79.3%,同批评估中的 DeepSeek Flash 是 79.6%。参照的是历史驾驶模型的选择。到了没见过的任务,还有差距;整题能不能交付,还要继续研究。这大概算一个小小的数据飞轮,唯一遗憾就是受设备能力限制没办法尝试更大尺寸的本地模型。
以现在为节点回头看,最初只是不想维护爬虫。最后做出来的是一个不依赖逐站规则的网页感知核心:它把页面上能核对的事实交出来,决策和执行留给各自的层。这不到 7MB 的程序与 300 多 GB 的产物,包含了这一年多无数个深夜苦思难眠,也算给自己一年多以来的一个交代。