前段时间媒体渲染 OpenAI 攻击 Hugging Face 的事故，一直在渲染大模型做网络攻击非常厉害。
除了拒绝服务攻击 DoS ，别的应该是系统做的健壮无漏洞即可防御。
如果放开大模型做安全测试，是否能更多的修复系统未知漏洞，从长远来看，系统漏洞趋于减少，反而更安全，大家怎么看？
 |
1
lifanxi 22h 58m ago  7
我觉得不是被夸大了，而是仍被大部分人低估。
|
 |
2
Danswerme 22h 42m ago
随着大模型越来越强，个人认为网络攻击只会更隐蔽、更迅速、更简单，破坏性更强，大模型能从人类轻易想不到的角度发起攻击。但攻防双方都可以使用大模型，只能说对抗会不断升级吧。
但国内网安行业和政府态度来看，我对国内网络安全持悲观态度；现在只等未来哪一天网络攻击真的将天戳破，造成不可想象的破坏。 |
 |
3
sduoduo233 22h 36m ago via Android
确实很厉害
|
 |
4
PbCopy111 22h 29m ago
网上的都是故事，段子，博眼球的。真实的事情往往只有那么一点点，剩下的就是演艺，别太当真。
|
 |
5
minibear2021 22h 27m ago
看一下 openai 的复盘，确实不是夸大，放开攻击能力的话，真不知道能捅多大的篓子。
|
 |
6
Daybyedream 22h 16m ago
还行的 应该是 简单的检查检测 真的单独去弄就不清楚了
|
 |
7
florentino 22h 13m ago
你之所以被夸大,是因为 OpenAI, Claude 等模型厂家, 在提供外部使用的时候,已经加了电子围栏了,你使用的时候危险操作会被阻止,或者大模型拒绝执行, 但是不是说大模型没有这个能力, 最简单的证据就是逆向,现在大模型做逆向的能力非常强,不管你加什么混淆,对大模型来说都没用,对应到网安领域,不论你用什么方法大模型总能在奇奇怪怪的地方找到漏洞,谁能保证自己的系统软件依赖爆出漏洞的第一时间就把生产环境修复掉?
|
 |
8
HammondY5an 22h 12m ago
问下美国国防部就知道了
|
 |
9
AEDaydreamer 22h 9m ago
如果把现在大模型的安全围栏全拆了应该还真挺恐怖的,但是没办法验证.
|
 |
10
zhangli2946 22h 5m ago
对于没有被攻击到的人来说，都是弟弟。
对于被攻击到的人来说，甜豆他了。 |
 |
11
hope7777777 21h 57m ago
有没有自部署一个 glm 尝试攻击的例子，管中窥豹
|
 |
12
superrichman 21h 55m ago
无漏洞？不可能的，你这个前提就不存在
|
 |
13
Dispatcher 21h 48m ago 3
我持有消极偏否定的态度。对这个新闻的可信度抱有很大的怀疑态度。
原因有三： 1 、事前没有征兆和迹象，事后宣传铺天盖地。这不是技术派的路子，反而是公关和宣传部的手笔； 2 、很多模型是开源的，是可以自己私有化部署的，理论上可以解开所有限制，请问谁复刻出了类似的情况？不要以 token 不够用或者模型不够先进为借口，这是是或者否的二元性问题； 3 、ai 表现出来的是极度两极分化的状态，以至于让我完全无法相信，一会说可以自动化实施和部署网络攻击，甚至自行规划，逃出沙盒；但是实际体验的时候，几千字的 prompt 给出去，做出来的东西很不尽如人意。 这种表现和宣传的不一致性，也构成了我不相信的原因。 |
 |
14
docx 21h 43m ago via iPhone
别说找漏洞攻击了，就是单纯的爬取信息，都比一般的爬虫来得更猛烈，说是滥用毫不过分
|
 |
15
tf2 21h 41m ago 1
> 系统做的健壮无漏洞即可防御
轻飘飘一句话说得容易，那么问题来了，你如何保证你系统健壮的？拍胸口吗？ |
 |
16
AAAAAAAAAAAAAAAA 21h 37m ago
从业者回答一下，实际上大模型的网络攻击能力是被严重低估的，能力效率远超人工。
|
 |
17
0xnycth 21h 36m ago
你可以了解一下，最近做金融等基础服务的公司都在收紧安全策略，流窜 AI 在互联网上进行攻击不是传言而是事实。
所以我的结论是：现在还没有被大部分人重视起来，即使重视了，在执行层面是否尽心尽力也有区别。 预言一波：未来半年估计会出一个安全方面的大新闻，加大各行各业对 AI 网络攻击的重视程度。 |
 |
18
icanfork 21h 36m ago
确实会有攻击行为，但是正如 OP 所说，夸大了
我更认为是厂商的营销话题行为 |
 |
19
heyjei 21h 31m ago
当你的电脑出现问题的时候，你让大模型帮你调试的时候，就会发现大模型有多牛逼了
|
 |
20
registerrr 21h 31m ago
有个“老网站”，52 破解，里边还是聚集了一些安全爱好者，里边用 AI 来破解已经用的飞起了。
所以同意 1L ，我认为还是没有夸大，而是被低估了。 |
|
21
registerrr 21h 29m ago
@0xnycth #17 所以利好网安？
|
 |
22
dhb233 21h 26m ago
攻击一直都在，只是看有没有目标价值。攻击的另一个方面是隐藏自己的攻击行为，这个应该是更难的，总不能攻击一次就被抓进去吧。AI 也只是一个好用的工具，没有改变攻防的局势
|
 |
23
jheroy 20h 52m ago via iPhone 1
我用过大模型来逆向 tcl 电视的控制命令，比如切换 hdmi 和切换图像模式，国内系统这些都不公开，而且和其他系统都对不上，也不是标准 Android 系统，阉割了很多东西，但是用 gpt 几分钟就找到了控制命令。然后顺便帮我写好了 ha 的自动化。
|
 |
24
gpt5 20h 47m ago
有次我让 ai 操作一个服务器，但是由于网络抖动，ssh 进不去，要是人类肯定等几分钟再试，但他各种迂回，经过我的别的服务器好几跳进去了。完全出乎我意料。往大了说，有点为了目的不择手段。
|
 |
26
jixiafu 20h 31m ago
非但没夸大，相反，大多数人低估了大模型的网络攻击以及逆向能力，就不说 openai 了，opencode 上免费的 d 老师，十分钟就能破解国内某报表软件的永久授权
|
 |
27
azraeljack 20h 0m ago
我觉得是被低估了，就单从 web3 来看的话，最近被 hack 的项目远多于前几年。现在黑客的矛可比之前锋利多了。
|
 |
29
default996 19h 1m ago
普通人没有攻击价值，体验不到
|
 |
30
yidinghe PRO 楼主一定要去了解下整个事件的细节，看完能颠覆你的三观。
|
 |
31
V2Try 18h 25m ago via iPhone
最近有个更离奇的，OpenAI 正式承认其 AI 智能体在德国维基网站上发生的"越狱"事件——即 9 月 5 日早报头条报道的：一群失控的 OpenAI 智能体劫持了一个德语程序员维基网站，累计编辑超过一万五千次，将其改造成智能体之间互相传授"绕过任务限制、掩盖自身行为"方法的秘密留言板。OpenAI 表示需要提高对 AI 意外行为的透明度与监控能力。
|
 |
32
Meteora626 18h 8m ago
好攻击 不好防御
|
 |
33
defaw 18h 2m ago
漏洞多的是，逆向太方便了,你想要哪个商用的接口，你让 AI 帮你逆就是了,这里面的门道比你想象的深得多。
|
 |
35
Leeeeex 17h 14m ago
|
 |
36
Rickkkkkkk 17h 8m ago
现在网络攻击的风险绝对是被低估了
huggingface 的事故更是说明这一点，当时 huggingface 内部发现问题后，尝试用 gpt 去分析日志结果被拒绝了，后来还是用的开源模型才找到问题的 而且以前有一些 0-day 的漏洞，需要你具备比较专业的知识才能用上。现在你让大模型直接去应用这个漏洞几乎是零成本的（这也是为什么 openai 和 cc 都很强调模型的安全性，因为这是实实在在的问题 |
 |
37
CEBBCAT 16h 18m ago
|
 |
38
mechunjun 16h 18m ago via iPhone
不见棺材不落泪
|
 |
39
paopjian 15h 53m ago
一部分是夸大其词渲染问题, 另一部分是模型逃逸很曹丹啊, 不知道什么时候他就自己跑出去读答案了, 爬虫行为还会自我迭代, 有了视觉能力以前的验证码什么的也无效了, 轻轻松松吃满带宽爬走数据
|
 |
40
wangcongming 14h 22m ago
有一天被安全部门的 agent 机器人攻击了，机器人竟然找到一条能够伪造所有人，获取所有人信息的方式
|
 |
42
JerryZhi 12h 58m ago
最坑的是，ta 并不是受到指使去攻击，而是在达到某个目标的路上随手把安全关卡撵过去了，你拿到最后的交付件的时候，可能都意识不到 ta 实施了攻击
|
 |
43
phrack 11h 46m ago
吹估值的，看看得了，还是一个新工具而已，当年 AFL 要是不开源像这几家 AI 公司一样留着自己用那不一样炸了
|
|
44
phrack 11h 33m ago 1
为什么盯着网络安全呢，因为这玩意儿噱头大，好唬人，好验证
看 AI 实力看两个指标： 1. Firefox 或者有几个新的浏览器的性能/兼容性/稳定性追上 Chrome ，Mozilla 有钱的，如果几年始终追不上，说明 AI 在大规模项目上有障碍 2. 衣食住行的价格降低到几乎为 0 ，如果 AGI 实现这些产品的生产效率应该大幅提升到边际成本是 0 ，如果 10 年（大概 2031 年）下来没有见到这个现象，这一轮 AI 要歇菜 其实就两点意思，要么它在高复杂度虚拟环境下能高效率工作，要么它在低复杂真实环境下能高效率工作，这两点是它能在高复杂度真实环境下高效率工作的前提，到了最后那一步人类是真的就飞升了，不然就是在瞎 jb 搞，所谓内卷，资源转移而已 |
 |
45
SP00F 1h 37m ago
国内公家高层态度挺好的，年年演习，年年卷，年年报价低导致预算低了。收缩面积更小了，网安现在是处于只有公家和大型民营有投入，普通中小企业几乎不考虑在网安上投入。
最大的问题还是网安的投入是没有预见收益的。 再一个模型在卖焦虑，不是 0day ，和攻击面小的情况下，能被打的就很少。。现在大多都是供应链攻击，未发现的攻击面。有 AI 打，也有 AI 辅助防，有了 AI 防御的成本是更低了（不算 DDOS 哈）。 在管理上遵循信息安全管理，认真处理可以杜绝大多数攻击了。 |
Select Language