V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
workbest
V2EX  ›  Local LLM

2 年以后的硬件和本地大模型

  •  
  •   workbest · 20 天前 · 3115 次点击

    今年内存是大概率不会降价了

    随着价格的刺激和产能的提升,以及对本地大模型的需求,2 年以后 256G 内存能否得到普及?

    256G 内存,加上本地模型的发展,应该可以在本地运行一些非常不错的 coding 模型了

    27 条回复    2026-04-20 00:51:50 +08:00
    kongkongyzt
        1
    kongkongyzt  
       20 天前
    内存什么时候能回到 16G 只要 150 块钱的时候
    dmanbu
        2
    dmanbu  
       20 天前   ❤️ 2
    ???但凡你了解一下硬件市场,就该知道现在内存开始跳水了
    levn
        3
    levn  
       20 天前
    都用本地模型了,那企业高价买的那些内存显卡谁来使啊
    decade0q
        4
    decade0q  
       20 天前 via iPhone
    内存前几天都开始降了😓
    icyalala
        5
    icyalala  
       20 天前
    硬件提升,模型也在提升,最好的模型会越来越大
    更何况云端部署能 Batch, 本地模型性价比会远差于供应商
    workbest
        6
    workbest  
    OP
       20 天前
    如果 2 年后的本地大模型能达到今天的 opus 4.6 或者 gpt 5.4 的水平,我觉得已经足够了
    l1ve
        7
    l1ve  
       20 天前   ❤️ 1
    @dmanbu 16G 的从 1000 到 700 ,不算跳水吧,并且还叠加季度末回款的影响
    ----
    存储芯片/CPU 这东西,产能固定,扩产周期长,现在 AI 对算力的需求可以说是指数级增加的,一年前大家用 ai 编程用了多少,现在又用了多少。等 agent 落地其他行业的时候算力需求更离谱
    我记得一年前看到 vibe coding 的时候,我觉得这东西傻逼才会用
    现在我只会觉得谁不用谁是傻逼
    预计 3 年内都会维持高位了,哪怕 AI 模型再也不进步就保持目前的水平,需求都不会减少
    Gilfoyle26
        8
    Gilfoyle26  
       20 天前
    预言一波:其实和手机一样的发展路线,尽管每年都出新款,但是消费者已经无感了。
    workbest
        9
    workbest  
    OP
       20 天前
    @kongkongyzt 如果回到这个价格,那大家买的新机器内存都会是 256G 起步
    june4
        10
    june4  
       20 天前
    苹果底端 8G 内存机是十几年前了吧,现在还是 8G,说明内存基本不会涨
    甚至硬盘也不怎么涨,内存和存储不再象 20 几年前的定期翻倍涨了,我不觉得再过 5 年会变
    cjun
        11
    cjun  
       20 天前 via Android
    云端的模型比本地模型更聪明,如果是省事,省时间,还是云端模型好吧
    xiaokanhongchen
        12
    xiaokanhongchen  
       20 天前 via Android
    本地的不实际,但是大企业有可能会搭建
    ntedshen
        13
    ntedshen  
       20 天前
    我台式机一直是拉满的,不谈
    我的笔记本,
    16 年我就在用 32+8 。。。
    19 年我就在用 64+8 。。。
    22 年我抱怨现在笔记本接口越来越少都装不下 128 了还有人骂我傻逼。。。
    24 年 128 ( 64x2 )的条子价格平了,我没买,其实现在挺后悔的
    而市售机器今年才刚开始普及 32g 。。。

    所以,
    > 2 年以后 256G 内存能否得到普及?
    我感觉你得加个 0 。。。
    sddyzm
        14
    sddyzm  
    PRO
       20 天前
    何意味
    zerovoid
        15
    zerovoid  
       20 天前
    除非本地部署的成本,低于云服务的成本很多,不然为什么我不用云服务呢,
    大部分人都懒得自己折腾,如果价格差不多的话。
    Very0ldMan
        16
    Very0ldMan  
       20 天前
    chatGPT3.5 的时候,我就在想,如果以后开源的大模型能够有 3.5 的智力就好了。结果没想到现在 14B 的大模型已经超过 3.5 了😂😂
    forisra
        17
    forisra  
       20 天前
    @kongkongyzt 这个很难了,因为当时内存存储价格低本身也是当然上游厂商对行情误判,产能过剩结果就导致了历史性的低价。

    未来就算价格崩了,我估计也很难崩到这个水平。毕竟按照正常的通胀率一年 2%-3%,十年通胀也有 30%了。
    eastcukt
        18
    eastcukt  
       20 天前 via Android
    端到端的小模型感觉是未来趋势,有基础智商配合 agent 作为私人助手完全够了。如果后期 memory 层能作用小模型进行微调就更是没必要全知大模型。
    laminux29
        19
    laminux29  
       20 天前
    256G 内存,加上本地模型的发展,应该可以在本地运行一些非常不错的 coding 模型了
    ===============

    这是严重的错误判断。

    现阶段,各大 Coding 模型,别说架构师了,连高级程序员的层次,都没法在每次 chat 中达到,而且还经常输出一些虽然能 work 但可维护性极差的代码。这个问题的根源还在于训练的数据、推理的算力与推理空间不足导致的,而这一切的训练与推理阶段,又都依赖超大内存,256GB 只是冰山一角,远远不够。
    unusualcat
        20
    unusualcat  
       20 天前
    内存大没用啊,除非是统一内存。
    zhouyin
        21
    zhouyin  
       19 天前
    @laminux29
    能不能举个例子 ai 产出的代码不如高级程序员?
    bowencool
        22
    bowencool  
       19 天前
    @laminux29 2026 年了,竟然还有人在说 AI 的代码可维护性极差...
    workbest
        23
    workbest  
    OP
       19 天前
    @bowencool 哈哈哈,让他去手写代码吧
    lete
        24
    lete  
       19 天前
    @workbest #9 怎么可能 256G 起步,不是人人都必须跑模型,基本上 32G 或 64G ,未来模型只会越来越小
    jark006
        25
    jark006  
       19 天前
    你这个“非常不错的 coding 模型”最多相当于现在的顶级闭源模型(其实本地能跑 opus4.6 我也挺满足的😁👍),但那时会出现更加顶尖的闭源模型。
    目前的大模型进步速度,我看不到放缓的迹象,模型能力的上升也看不出边际效应。
    所以,大厂的闭源大模型始终会遥遥领先同期可本地部署的开源模型。
    jackqian
        26
    jackqian  
       19 天前
    @Very0ldMan 本地 35b 像个智障,离达到 gpt3.5 差的有点多。小参数可能很难有大的提升
    Very0ldMan
        27
    Very0ldMan  
       5 天前
    @jackqian #26 GPT-3.5 在 2023 年的 MMLU (综合知识)得分大约在 70% 左右,而 Qwen3.5-14B 即使在量化后,在 MMLU 、GSM8K (数学)和 HumanEval (代码)上的得分依然高出一大截
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   3043 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 97ms · UTC 02:40 · PVG 10:40 · LAX 19:40 · JFK 22:40
    ♥ Do have faith in what you're doing.