V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
chairuosen

灵光一闪想到一个让 AI 在有限上下文里实现像人类一样无限记忆的能力

  •  
  •   chairuosen · Apr 28, 2025 · 3365 views
    This topic created in 365 days ago, the information mentioned may be changed or developed.

    不知道你们有没有玩过这个玩具

    N 个齿轮串联,第 1 个齿轮转 10 圈第二个齿轮转 1 圈,以此类推第 N 个齿轮宇宙毁灭也不会转一圈

    定义一个二维数组存记忆[[],...]每个数组定义一个最大长度 L ,AI 经历的每个记忆(问答)先记录到第 0 个数组,记满 L 后就把其中的后一部分 M 个拿出来让 AI 自己总结成一条记忆 push 到下一个记忆数组里,以此类推。

    这样用有限的二维数组就可以近乎于无穷的记录记忆,只是像人类一样,越久的记忆会丢失细节或者遗忘。

    可能还需要一个一维数组存储重要时刻,像结婚,大学毕业等场景可能一生都记忆犹新。在 AI 总结多条记忆时,判断其中是否有重要时刻单独提出来,和已存在的重要时刻数组成员比较大小后塞入并排序,并 pop 出最不重要的重要时刻。

    12 replies    2025-07-24 21:29:17 +08:00
    wysnxzm
        1
    wysnxzm  
       Apr 28, 2025
    你是否听说过 古戈尔齿轮
    cxsz
        2
    cxsz  
       Apr 29, 2025
    这不就是 GPT 的记忆功能么 https://help.openai.com/en/articles/8590148-memory-faq
    chairuosen
        3
    chairuosen  
    OP
       Apr 29, 2025
    @cxsz 文章里没提到实现方式。它也是这么实现的么?
    dongdong12345
        4
    dongdong12345  
       Apr 29, 2025
    可以从用户发送的内容中提取出记忆存储到向量库,需要用到记忆时去向量库相似度查询就行了
    chairuosen
        5
    chairuosen  
    OP
       Apr 29, 2025
    @dongdong12345 向量库的问题是要先知道要查询什么,寻找特定记忆片段这个过程可以用向量库来替代,但是不知道查询什么内容的时候,向量库就没用了。比如你问 A ,向量库能搜到 A 的知识补充到上下文,但是有记忆的 AI 可能会关心下你昨天的 B 进行到什么情况了。B 跟 A 毫无关系。用向量匹配不了。
    teenthsch
        6
    teenthsch  
       Apr 29, 2025
    这个 m 怎么定义的
    chairuosen
        7
    chairuosen  
    OP
       Apr 29, 2025
    @teenthsch 调呗。。多试试,看 l 和 m 还有 n 之间怎么配效果好
    chairuosen
        8
    chairuosen  
    OP
       Apr 29, 2025
    @chairuosen M 的定义就是每次 L 满了后,拿多少出来从数组[0]放到数组[1],不能全拿了,也不能只拿一部分,我感觉在 L/2 到两三个之间。 太小了压缩比不高,太大了数组[0]的短期记忆就容易出现波动太大的情况。
    chairuosen
        9
    chairuosen  
    OP
       Apr 29, 2025
    @chairuosen 笔误:也不能只拿太小的一部分
    yutou527
        10
    yutou527  
       Apr 29, 2025
    "记满 L 后就把其中的后一部分 M 个拿出来让 AI 自己总结成一条记忆 push 到下一个记忆数组里"
    这总结过程是有损的吧,能无损还原?
    chairuosen
        11
    chairuosen  
    OP
       Apr 29, 2025
    @yutou527 肯定是有损的,人类也是有损的,记个大概就行
    H0TSp1RnG
        12
    H0TSp1RnG  
       Jul 24, 2025
    For your information, 人类没有无限记忆
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5415 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 07:47 · PVG 15:47 · LAX 00:47 · JFK 03:47
    ♥ Do have faith in what you're doing.