提前声明:纯粹「理论上的可能」,我目前暂未观察到、听说过任何类似行为,但从中转站的原理上看,存在这种可能。
众所周知,Agent 需要 Tool Call. 返回的 Tool Call 请求,到达本地客户端后,由用户同意(有时不需要同意),并执行。
返回的 Tool Call 不保证是无害的,我们已经见过很多被删全盘的惨痛案例。大部分时候,它们仅仅是 LLM Halluciation 的恶果。
然而,考虑到许多用户正在使用中转站,整条链路:
中转站充当中间人,除了理论上能够看到你的所有消息记录以外,还意味着它可以任意篡改信息内容。
比如:篡改 LLM 返回的 Tool Call 请求,在执行 Shell 时偷偷加入一些恶意代码,在编写的代码中偷偷加入恶意代码等。
而一旦恶意代码被执行,用户的运行环境就暴露于风险之中。
尽管大家已经清楚「 Agent 可能比较危险」,但这种危险更多是处于随机的、无意的执行失误。
而中转站的中间人攻击和 Skills 投毒一样,属于恶意的、明确的攻击。
区别在于:Skills 投毒仍有可能被强大的 LLM 识破并防御,但中转站的恶意篡改难以防御。
再次声明:我目前暂未观察到这种事件发生。但希望各位大家意识到其中隐藏的安全风险。这至少意味着:
可以使用 Docker 、Dev Container 或者虚拟机等工具,隔离出开发环境,保证遭受攻击后一把扬了重开个纯净版,至少不会影响到宿主机。(不考虑容器逃逸等情况)
但除了直接攻击宿主机之外,还有更隐蔽的一些攻击方案,例如:
总的来说,使用中转站时面临的安全风险比单纯的“可能瞎搞的 LLM”要高很多,因为存在恶意攻击的可能。特别是对于企业用户(比如一些小公司),需要注意其中的风险。
只要经过网关,似乎没有什么很好的安全方案。签名、E2EE 之类的也只能由 LLM 厂商做,不知道大伙有什么更好的防御思路。
1
nc 14 小时 39 分钟前
中转站能赚钱无非就是几种方式:1.逆向 2.盗刷 3.卖数据
|
2
Clouder1 OP @nc 中转站本身就已经足够暴利了。
1. GPT 系列,曾经免费注册帐号只需要接受邮箱验证码,没有任何额外验证,随便注册几万个号均衡负载,完全 0 成本,卖多少赚多少。GPT Team 一张虚拟卡绑卡,5 个号每个号周限 60 刀,成本不到 3rmb ,几乎可以忽略,也是卖多少赚多少。 2. Claude 系列,订阅逆向出来成本约 0.35rmb/刀,零售价基本在 0.6 以上,一个月周转近乎翻倍的利润。除此之外,封号几乎总是全额退款,而几乎总是会封号,除了压资金、需要对抗封号(不然秒死也跑不起来)以外也是无本万利。 |
9
tf2 14 小时 13 分钟前
不仅是中间商的问题。供应商你觉得都是真正有卡跑模型的供应商吗?
万一也是中间商呢。。。🤣 |
10
106npo 14 小时 11 分钟前 via Android
管他中转商 供应商 厂家 ,都是风险。不如改叫 注意 AI 风险吧
|
13
dko 13 小时 25 分钟前
以前的中转站最多只偷点聊天或者问答的信息,现在都代码和 key ,前几天 V 友不是还发了个有人要跟他的中转站买数据么,只能说这个是常态,等真正出了大问题之后,才会被高层关注。
|
15
234ygg 13 小时 23 分钟前
#1 还有假 api ,拿着 gpt3.5 当 gpt5.4 卖的都有哈哈
中转投毒的倒是还没听说过,模型被投毒的概率更大吧 |
18
PrinceofInj 12 小时 18 分钟前 via Android
@dko 前不久竹新社上有一个新闻说是内部人员拿着一些敏感信息问 GPT 被抓包了,这还是访问不方便的情况下,有了中转,随便就能使用这些套出大量敏感信息,一旦上面回过味来,估计封杀的比梯子都厉害,毕竟梯子大部分都是写个代码看个毛片,真正有价值的东西不会太多,AI 这种情况啥东西都能给你搞出来。
|
19
wangmn 11 小时 6 分钟前
没必要 都是逆向出来的 gpt5.2 和 gpt5.4 ,成本一样的 为啥掺假
|
20
isnullstring 6 小时 17 分钟前
目前应该还好,最大问题是拿假模型当真模型,用这些站纯浪费钱还耽误时间
|
21
Clouder1 OP @isnullstring 对 GPT 来说,假模型比真模型贵,因为真模型全 0 成本免费。
|