为了合规,不知道哪家云服务支持 AI 流式输出的敏感词检测? 我看了下,好多都是给整段文本检测,并没有流式输出实时检测服务,这个大家有没有好的解决方案
1
wtfedc 2023-06-27 11:50:17 +08:00
没有语境,敏感词检测就没多大意义。
可以尝试流式输出过程中,拼接当前输出和之前所有的结果,异步进行检测。 |
2
wtfedc 2023-06-27 11:52:28 +08:00
xxx 是个大家都爱戴的领袖 是可以过云厂商敏感词检测的。
xxx 做了什么坏事 是过不了的。 |
3
lchynn 2023-06-27 15:19:11 +08:00
你自己再加一层,AI STEAM 输出全部后, 你拿去给云服务做敏感词 /语义检测。 通过后, 自己再做个 api , 代替 AI ,流式输出给前端。
类似电视台直播节目,如春晚, 老百姓看到的其实是延迟 1 分钟。就怕直播连线的时候,有 XX 大叫 XXX 。 |
5
devswork 2023-06-27 15:32:19 +08:00
我最近也在做这个,目前的方案是,每次会把上下文所有内容交给内容审查,如果都通过了,就再去请求 AI ,AI 给出的流式就直接响应了。我想的是,如果用户不问敏感问题,就不会有敏感答案(或者说 AI 不会主动给出敏感的信息,除非用户主动问),大概就是敏感都是由用户主动询问来触发的,这个思路
|
6
gaobh OP @devswork #5 这个方案只能在一次性问答的场景里可以,连续对话场景下,用户可能不会提敏感问题,但是 ai 有可能输出敏感回答。
目前我看到的 wps 做的方案是每次流式输出后按。分割句子,然后把每个句子进行敏感词检验,如果命中就不再输出同时回退命中的句子进行隐藏。他这么搞虽然能解决问题,但是敏感的句子已经给用户看到了,用户可以截图,给平台造成风险,这个咋解决是个问题。 |