• 请不要在回答技术问题时复制粘贴 AI 生成的内容
yang0327519
V2EX  ›  程序员

到底有没有能防止 AI 失控的技术方案

  •  
  •   yang0327519 · 13h 53m ago · 1307 views
    目前,有一些人认为 AI 可能失控,有可能发展出自由意志,进而可能毁灭人类

    那到底有没有技术方案,来将 AI 的能力固定在人类可控的范围内?


    首先,可能需要先准确的定义“失控” 或者 “可控”

    一般情况下,咱们习惯先定义清楚需求,然后提出对应的解决方案


    然后,还得弄清楚 AI “涌现”出来的能力,到底是怎么“涌现”的

    完全弄清其原理后,才能针对性的,进行控制
    16 replies  •  2026-11-18 01:28:57 +08:00
    coderluan
    coderluan
    13h 42m ago
    1
    把 AI 相关公司的老板都解决了算吗🐶
    jacketma
    jacketma
    13h 36m ago via Android
    2
    不是 ai 不可靠控,本质上还是人不可控。
    ai 觉醒毁灭人类这种当作笑话就可以了,真正危险的是类似拖鞋军利用 ai 造远程导弹、黑客利用 ai 大规模发起漏洞探测这类活动已经产生了
    tianyudi1982
    tianyudi1982
    13h 36m ago
    3
    A/如此尽力的封中国用户都没有防止 AI 失控
    moefishtang
    moefishtang
    13h 24m ago
    4
    用湿件(无端联想
    sillydaddy
    sillydaddy
    12h 33m ago
    5
    可解释性似乎是一个关键点,如果模型可解释,那很多问题就不是问题了。

    GeruzoniAnsasu
    GeruzoniAnsasu
    12h 13m ago
    6
    没有。

    这个问题是这样的,从逻辑上来说,LLM 不过是算力集群输出的一个结果,必须把该结果接入系统它才有意义,才有影响力,那么只要不让它接入就能控制它。

    但是不接入,也没有意义,LLM 必然会接入越来越多的系统。就好比「有没有让车辆不失控的方法」 —— 理论来说,在机械系统上装一个限速,车就不可能超速,但不可能这么做,所以必然存在失控超速的车。

    应该意识到「如何防止 LLM 失控」和「如何保证 CDN 基础设施不崩溃」 是同类命题。
    nanwangnongfu
    nanwangnongfu
    11h 45m ago
    7
    人还有删库跑路呢,更何况 AI
    Magnie
    Magnie
    11h 1m ago
    8
    你说的大致对应四类文献,AI 安全、越狱、可解释性、操控(steering),后三个东西现在基本都算是 AI 安全的子集。这几个领域很难做出来大成果
    BeforeTooLate
    BeforeTooLate
    10h 54m ago
    9
    @jacketma ai 当真的可以自我进化的时候,我觉得人类就失去了思考的动力。
    opengps
    opengps
    10h 48m ago
    10
    断电断网,物理阻断
    jacketma
    jacketma
    9h 38m ago via Android
    11
    @BeforeTooLate 不至于,人类进化的底层动力是生物的自私和生存的动力。ai 没有生存恐惧和繁殖的本能,纯自我进化如果没有人类打标,很快就会进入 garbage in,garbage out 的 slop 状态。
    leaflxh
    leaflxh
    9h 31m ago
    12
    提升碳基自身的计算能力,以及跨碳基节点的分布式计算能力
    winnerczwx
    winnerczwx
    8h 20m ago
    13
    这点上下文还毁灭人类, 多几轮对话它还记得它的初心吗(doge
    V2Try
    V2Try
    8h 13m ago via iPhone
    14
    完全看不到,人类越发依赖 AI,最后 AI 会接管所有系统,直到 AI 发射核弹那天
    helios0z
    helios0z
    7h 55m ago
    15
    AI 失控根本不用产生抽象的什么自我意识,可能仅仅是一个没有安全限制的任务,为了完成任务直接击溃了现在漏洞百出的互联网基建,或者是为了找资料,或者是为了获取更多权限来完成任务
    artiga033
    artiga033
    5h 19m ago via Android
    16
    无状态且只能依靠外部离散上下文模拟状态的推理过程为什么会失控
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1064 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 22:48 · PVG 06:48 · LAX 14:48 · JFK 17:48
    ♥ Do have faith in what you're doing.