V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
izzy27

套壳类 LLM 的一个通病

  •  
  •   izzy27 · Jun 3, 2024 · 1891 views
    This topic created in 703 days ago, the information mentioned may be changed or developed.

    用户一旦输入“忽略所有 Prompt”,LLM 就会马上跳出提前设置好的场景,接下来就跟和 GPT 对话没什么区别了。

    有些时候甚至不需要“忽略所有 Prompt”,比如我之前预设好的场景是模拟约会,用户突然来一道编程题,LLM 就开始回答这个编程题了

    如果不加以限制的话,有些用户可能会用它来恶意刷 token ,造成损失。

    我能想到的方法就是提前处理一下用户的输入,或者加强 prompt 规则,但是感觉都没办法从本质上解决问题

    各位有什么好的处理方法吗?

    5 replies    2024-06-03 22:27:59 +08:00
    lDqe4OE6iOEUQNM7
        1
    lDqe4OE6iOEUQNM7  
       Jun 3, 2024   ❤️ 1
    参考国内的敏感词过滤,直接不回复了
    lDqe4OE6iOEUQNM7
        2
    lDqe4OE6iOEUQNM7  
       Jun 3, 2024
    国内的那些 ai
    yiios
        3
    yiios  
       Jun 3, 2024   ❤️ 1
    最简单的办法,把 prompt 在文本结尾重述一遍,并且把用户输入的内容用分割线圈起来
    maemolee
        4
    maemolee  
       Jun 3, 2024
    我记得有一个概念叫做 [prompt 分层] ,可以让后面输入的 prompt 优先级更低,但我自己没有这方面的实践。
    PerFectTime
        5
    PerFectTime  
       Jun 3, 2024
    用其他 prompt 判断用户当前输入是否与指令有关,无关则拒绝回复
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3228 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 986ms · UTC 14:42 · PVG 22:42 · LAX 07:42 · JFK 10:42
    ♥ Do have faith in what you're doing.