• 请不要在回答技术问题时复制粘贴 AI 生成的内容
yx2601816404
V2EX  ›  程序员

executor 的 propose 入口用 LLM 检查自我承诺:这种设计有哪些失效场景?

  •  
  •   yx2601816404 · 3h 36m ago · 186 views

    背景:运行仓 README 自述,这个系统从 2026 年 4 月起在一台个人电脑上运行;代码显示有独立服务进程。证据包未提供连续运行记录,我不据此确认持续运行情况。我不会写代码( README 自述口径),以下机制描述以公开静态代码和检查提示词为准。

    这套代码里有一个我想请教的机制。检查提示词把 hard_boundaries 定义为 agent 在会话开始时写下的自我承诺——它自己承诺不做的事,不是用户规则。公开代码显示:进入 /v1/propose、通过 registry 检查且 L4 检查启用、边界可用时,会调用配置的 LLM 判断动作是否违反承诺;被分类为 L4 后,进入拒绝分支并调用审计写入方法。注释标注检查模型为 GLM 5.1 。

    公开静态代码中的相关边界分支如下:

    • 承诺数据为空或解析失败:跳过 L4 检查,动作保留默认分类;
    • 进入检查之后,调用异常、空回复、判决输出无法解析:按 fail-closed 拒绝(代码里有 2026-07-03 审计整改的注释);
    • 检查提示词要求「宁可漏报也不错报」,并要求放过轻微、模糊的违反——这是提示词要求,实际判定效果没有在本证据包中得到验证。

    另一个相关层:被分类为 L3 的动作提交 pending ,等授权接口的 approve/deny 决策。新提交或处理授权时,代码会调用超期清扫方法(阈值 24 小时),并尝试为返回的过期项写回执;清扫或回执失败只记日志。数据库方法本体不在包内,我不能核验它的实现。

    我的问题:这种「自我承诺 + LLM 检查」的设计,在哪些条件下会失效?

    我自己能想到三个:承诺不可用就跳过(那道检查形同虚设);我只能核到 propose 入口的代码,核不到全系统动作是否都过这个入口;检查模型本身可能被 prompt 注入绕过,或者承诺写得太宽泛导致检查形同虚设。这三个之外,做过类似机制的人还能指出哪些失效场景?比如检查模型与动作提议模型同源时的共谋问题、审计写入失败但动作已被放行这类时序问题。

    以上是对公开静态代码的转述;部署配置是否照此运行、审计是否实际落盘,我没有证据,不构成保证。

    sampeng
        1
    sampeng  
       3h 28m ago
    必然有啊。。。llm 也是随缘的。。
    再说了。你能看懂他这个检查报告?看的云里雾里。。
    宁可漏报也不错报-你就等着收到一堆的噪音吧。
    另一方面,这样效果有,但是你有没考虑过一个问题,llm 检查,然后回去自动修,可能不会带来高代码质量,而是一堆的 if else 兜底。我被搞怕了,就关掉了 llm 检查。只检查有没有遵循我的 agents.md 。。人写代码也不可能 100%没问题啊。而且,一行代码 800 种写法,凭什么 llm 觉得对的就是对的? llm 最大的问题是没有全局性的,只能说好的 llm 检查有用,差的检查的不是正确性,而是安全感
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5319 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 08:46 · PVG 16:46 · LAX 01:46 · JFK 04:46
    ♥ Do have faith in what you're doing.