• 请不要在回答技术问题时复制粘贴 AI 生成的内容
niuheishou
V2EX  ›  程序员

死磕一个网页感知系统的来时路

  •  
  •   niuheishou · 6h 58m ago · 795 views

    想想来时路 一开始,我只是想做自媒体,抓点站点数据。结果爬虫简单,维护起来没完没了。为了少维护,那时候想早上去上班晚上回来拿数据,不用自己值守,于是就开始给自己找方向。

    那时开始构思这样一个工具:不用给每个网站单独写规则,在允许的范围内,把页面上能核对的事实交出来。我从第一个站开始,记得那时候 GPT5 刚发布不久,一点点摸索、踩坑、研究哪些规律换到另一个站还成立。弯路走的太多,第一版建模核心做出来时,已经过去半年。

    后来 OpenClaw 火了,我开始想,能不能把这套感知交给 Agent 用。那段时间经常熬夜琢磨一件事:同一个网页,我扫一眼就知道该点哪,模型怎么就走偏了?它是没看到、理解错了,还是点了以后页面根本没变?

    我开始把模型当时看到的页面、选中的对象、动作后的变化都存下来。最早一次记录只有几百 KB ,后来硬盘里攒了约 120 GB 的记录。慢慢地,任务跑偏时,我终于可以回到那一步,看看是页面没把事实交出来,还是模型拿着事实做错了判断。

    后来系统慢慢健壮,我想知道一件事,自己做的东西能不能跟 Browser Use 掰掰手腕。于是挑了一道从 Investing 查行情、再到 SEC 找申报文件的题,做了六对同题测试。两边都用 DeepSeek V4 Pro ,适配和运行配置有差异。按同一套固定规则,EH 过了 6 次,Browser Use 过了 1 次。结果只说明这道题、这两套配置下发生了什么。对我来说,也算是没有观众的一次自我证明。

    再后来稳定性验证,50 道自然语言任务,有经验和无经验各跑了 3 轮,共 300 次。两组各累计跑了十多个小时,执行期间没有人工接管。我事后逐份核交付,298 份通过。那些没交好的任务也有价值:有记录可翻,就知道该从哪儿查。

    还有个没想到的收获:可审计的运行记录也能拿来训练模型。用熟悉任务前十遍的记录继续训一个 1.7B 模型,在之后 2,805 个离线步骤里,它选中同一控件的比例是 79.3%,同批评估中的 DeepSeek Flash 是 79.6%。参照的是历史驾驶模型的选择。到了没见过的任务,还有差距;整题能不能交付,还要继续研究。这大概算一个小小的数据飞轮,唯一遗憾就是受设备能力限制没办法尝试更大尺寸的本地模型。

    以现在为节点回头看,最初只是不想维护爬虫。最后做出来的是一个不依赖逐站规则的网页感知核心:它把页面上能核对的事实交出来,决策和执行留给各自的层。这不到 7MB 的程序与 300 多 GB 的产物,包含了这一年多无数个深夜苦思难眠,也算给自己一年多以来的一个交代。

    4 replies  •  2026-11-05 16:33:22 +08:00
    leogt
    leogt
    5h 42m ago
    1
    牛逼呀。礼貌一问,有开源计划吗
    YorickGu
    YorickGu
    4h 42m ago
    2
    牛逼,respect
    4ark
    4ark
    4h 36m ago
    3
    牛逼,这东西有大用
    loveqianool
    loveqianool
    4h 34m ago via Android
    4
    为啥 ai 味那么重,现在的帖子只要是长帖,都很重的 ai 味,是我幻觉吗
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2714 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 13:07 · PVG 21:07 · LAX 05:07 · JFK 08:07
    ♥ Do have faith in what you're doing.