V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
DIMOJANG
V2EX  ›  Apple

关于 Apple 设备本地大模型的看法

  •  
  •   DIMOJANG · 293 天前 · 2434 次点击
    这是一个创建于 293 天前的主题,其中的信息可能已经有所发展或是发生改变。

    先抛结论,其实相比较于 Siri ,我认为苹果的离线大模型更可能结合的地方其实是 Spotlight 。 但是在执行搜索的时候可能会像 Siri 一样调用在线大模型。

    这么说有两点原因:

    1. Spotlight 建立索引不具备实时性的要求,可以像相册的分类算法一样仅在接入电源并且锁定的时候运行高精度的大模型。
    2. 结合去年 WWDC 推出的 Journal App 和心里健康。Journal App 对多模态信息的分类能力要求显著提高,心里健康大概率也会受益于大模型对语气、心情的理解能力。

    同时,在线大模型可能也会被集合进 Spotlight:

    1. Spotlight 一开始被给予厚望,除了本地文件和 App 的精确搜索之外,还可以查航班、股票、天气、维基百科……但是随着移动互联网的发展,大量信息被 App 围成孤岛( Twitter 、Reddit……),Spotlight 的索引能力急需提高。

    最后就是,按照目前 Apple 设备的主流配置,离线运行大模型的代价太大……( 6G 、8G 才是主流)

    12 条回复    2024-02-16 11:36:53 +08:00
    hatw
        1
    hatw  
       293 天前   ❤️ 5
    最后中国区没这功能😂
    DIMOJANG
        2
    DIMOJANG  
    OP
       293 天前
    @hatw #1 我猜 Apple 应该会尽量避免直接把 LLMs 的输出展示给用户吧 要是猜错了确实就得环大陆推出了
    aero99
        3
    aero99  
       293 天前
    我之前对 Spotlight 也给予厚望,但是使用一段时间总会有各种问题,尤其一些笔记软件,有时候突然就无法搜索了,APP 卸载重装也无济于事,没准升级某个大版本又好了,现在也懒得折腾只能用快捷指令配合 APP 快速检索

    ps ,spotlight 后来我才知道这个在国内手机是被阉割过的,
    kyor0
        4
    kyor0  
       293 天前
    看看 WWDC 会有啥干货吧。

    只是功能辅助的话说不定国内也可以用。
    sharpy
        5
    sharpy  
       293 天前
    那我估摸苹果手机的内存必须🉐加一等了
    1194129822
        6
    1194129822  
       293 天前
    不看好。Siri 都是起的大早,赶个晚集。现在 AI ,果子起步都晚了,还是本地大模型,能做成什么样?
    DIMOJANG
        7
    DIMOJANG  
    OP
       293 天前
    @1194129822 #6 我感觉现在大模型的战场在消费领域更重要的是找到合适的落地场景。ChatGPT 就是因为摸到了 Chatbot 这个使用场景所以爆火,但是 Chatbot 在普通大众面前肯定是新鲜劲过去之后就不再碰了的——所以你看现在三星、谷歌侧重的都是利用大模型的语义理解能力,而非对话。

    但是我依然觉得,三星和谷歌的落地场景依然不是很完美就是了。
    acapla
        8
    acapla  
       293 天前
    你完全不懂。
    maolon
        9
    maolon  
       292 天前 via Android
    苹果的 llm in a flash 论文了解一下?
    DIMOJANG
        10
    DIMOJANG  
    OP
       292 天前 via iPhone
    @maolon in flash ,但是不能 all in 。除非模型真的非常小,要不然一开始推理后台就要清空了😂
    zealotxxxx
        11
    zealotxxxx  
       291 天前
    属实是黄金内存的回旋镖了。

    但是,也可以退一步嘛,不行的走 API
    DIMOJANG
        12
    DIMOJANG  
    OP
       279 天前
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1117 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 18:40 · PVG 02:40 · LAX 10:40 · JFK 13:40
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.