这是一个专门讨论 idea 的地方。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
非 AI 从业者，想到一个问题，不知道有没有可行性
在用户端运行一个小模型，随着用户与小模型的交互越来越多，能否积累一些个性化的用户数据，利用这些数据让小模型在用户端自我迭代，变得越来越懂用户？
小模型完全离线运行，确保了隐私性
现在的算力能做到这样嘛？
18 条回复 • 2024-11-08 17:08:00 +08:00
 |
1
LuckyLauncher 21 天前
目前来看端侧的算力还不足以去 finetune 一个小模型
|
 |
2
sitdownkevin OP @LuckyLauncher 在可见的未来内，可以看到端侧的算力提升到这种程度嘛？
|
 |
3
qiangduan 21 天前
最新的天玑 9400 ppt 上已经宣称支持手机侧 LoRA 微调模型了。。早晚的事情
|
|
4
LuckyLauncher 21 天前
@sitdownkevin #2 当然可以，甚至不会太久，但是能不能达到效果还不好说。毕竟这一波的 AI 是通过算力和数据堆起来的。
|
 |
5
shinsekai 21 天前
没必要手机端训练啊，手机收集的数据定期发给电脑训练好后再发回手机
|
|
6
LuckyLauncher 21 天前  1
@sitdownkevin #2 甚至还会出现一个中间态，类似于 NAS 这种的数据和算法私有部署和训练方案，比如最近发布的 m4 mac mini ，性能远强于手机这类端侧设备，这类设备负责收集端侧的数据和微调模型，然后将训练好的模型再同步到对应的端侧，这可能比直接在端侧上训练来的更早
|
 |
7
andyC 21 天前
小模型没有可用性, 现在的 AI 是基于大模型的数据量和算力实现的伪智能
|
 |
8
cat 20 天前
@LuckyLauncher 家庭/企业内部的 AI 中枢吗，感觉很快就会来临
|
|
9
LuckyLauncher 20 天前
@cat #8 大概就是这个意思，但是我对目前小模型的实用性持怀疑态度，Apple Intelligence 的端侧智能貌似也没有什么实用的场景
|
 |
10
tairan2006 20 天前
可以的，小米 15 发布会的时候不就说是完全本地的
|
 |
11
tommyZZM 20 天前
现在的 AI 有一个问题就是能耗比较高，能量利用效率低下，人脑的功率才十几几十瓦，降低能耗应该是下一个阶段的发展方向
|
 |
12
liu731 20 天前
并不会。但是相较于云端 AI ，本地 AI 对历史消息（记忆）的存储更具优势。
|
|
13
sitdownkevin OP @LuckyLauncher 对 主要是好奇需要收集多少数量的用户数据才能让小模型朝着更好用的方向迭代
|
|
14
LuckyLauncher 20 天前
@sitdownkevin #13 主要看端侧收集的是哪方面的数据，比如手机可能更多的是你的使用数据，要是能拿到你用 APP 的数据，那数据量其实是非常庞大的。最起码在中国，用手机可以解决你的衣食住行，你的社交、信息的输入也大多来自于手机，这数据肯定是足够了的，毕竟这也只是个小模型
|
 |
15
viber 20 天前
@tairan2006 好像只有苹果说自己的 AI 是本地部署吧；搜了公关稿 小米说的是把记录保存在本地🤣
|
 |
16
GeekGao 19 天前
1 楼说的很明白了。
补充： 即便端侧算力很强，但你产生的那点用户数据，如果不做监督学习（主要为了正确的正则化、处理文本并输出整理成可以被微调的样本），那对模型的提升也近乎于 0 |
 |
17
ivyliner 13 天前
@sitdownkevin, 我对这个方向挺感兴趣的, 其实目前苹果就有这方面的技术, 但是我仔细想想好像引用常见也不多或者特别明确. 你有什么使用的场景了可以分享一下吗 ?
|
 |
18
wudaye 12 天前
有没有多模态本地大模型，能通过输入我本地的视频和图片学习我的癖好==
|
Select Language