一直没明白 AI 圈子里的“蒸馏”是个什么概念，跟钓别人鱼桶里的鱼同理吗？
Supplement 1 · 4 mins ago
如果蒸馏有理，那谁还愿意花钱自己训练？
创新不被保护谁还愿意花钱花时间去创新呢？抄过来卷价格就行了。
创新不被保护谁还愿意花钱花时间去创新呢？抄过来卷价格就行了。
 |
1
zhuhaohenry 1h 33m ago
说个相关又不相关的，桶里的鱼不好钓
|
 |
2
cjban 1h 31m ago
更像是用网直接捞别人桶里的鱼
|
 |
3
thatlazyman 1h 29m ago
感觉是一个人钓到鱼放到自己池塘，但是别人来偷钓 🤣 只是防不了只能谴责，喊人帮忙
|
 |
4
iv2ex 1h 23m ago
蒸馏是模仿，是学习别人的思维成果。
所以举例子来说，“从老师那里学知识”就是蒸馏的过程。 |
 |
5
yuanwenpu00 1h 22m ago via Android  1
他桶里的鱼也不是自己喂大的。是从河里钓的。
|
 |
6
weixind 1h 22m ago
我觉得更直观的解释是类似“临摹别人的画”。而不是钓别人的鱼。
|
 |
7
Nasdaq 1h 21m ago
我的理解是上顶级饭店吃饭，然后反推学习做菜方式。
|
 |
8
coderluan 1h 20m ago
是，不过有个前提是现在桶里的鱼本身也来路不正，本来久是违规野钓甚至也是从别人桶里钓的。
|
 |
10
Plutooo 1h 13m ago
自学和找老师教的区别
|
 |
11
LeoWA 1h 13m ago
监督学习，同样的输入，拿模型的输出与“标准答案”做比对，然后拟合。
最重要的就是 Cot ，你看那个报告，就是用各种骚操作去反向还原 Cot ，如果只是用结果的话，成效有限 |
 |
12
Frankcox 1h 12m ago 1
我其实一直不知道蒸馏为什么会算是“攻击”。如果一个人付费使用 api 生成数据，那么这个数据的归属人算谁的？他获取到的任何内容难道使用权不归他吗？那他用生成的数据再去训练又有什么问题？难道我用 claude api 生成一段代码，放在我的服务里盈利了，claude 还要跑出来说这个“代码攻击”，认为我的服务这部分属于他们公司？
|
 |
13
x86 1h 11m ago
依葫芦画瓢
|
 |
14
hoky 1h 10m ago
别人自己去河里钓鱼，蒸馏是去人家桶里钓鱼。
但是我感觉这个去人家桶里钓鱼很危险，因为那条鱼有可能是个蜜罐。 |
 |
15
daliusu 1h 9m ago
准确的说法是，你去饭店点了盘菜，然后趴在后厨门上看厨师怎么炒的，回家照葫芦画瓢做了一盘差不太多的
|
 |
16
Meteora626 1h 9m ago
@Frankcox 因为 a➗认为 他生成的数据是他的，你的想法没问题，我付费了 我爱干啥干啥
|
|
18
Meteora626 1h 8m ago
蒸馏就是看别人做题，反推他的大脑想法。楼上说拿网捞鱼的是只蒸馏权重，这个现在做不到的
|
 |
19
GeruzoniAnsasu 1h 5m ago 1
根本不同理。全世界只有 A\在拿这个词汇强词夺理。
我在隔壁说了这是一种释经权：我拥有一本谷蓝经，只有我能使用并解释书里的文字内容，任何人自行读这本书并写作自己的经典就是对唯一神 [AI 拉] 的亵渎，是要被青蒜的异教徒。 |
 |
20
akorn 59 mins ago
说白了就是抄袭。
别人写了个百科全书，你可以用。但是你把书里词条全拖走，自己印书去了。 虽然百科全书也不是原创。但是人家编纂是费了大量工作的。 你上来直接拿结果。你要跟据人家书目，自己收集素材，也不说什么了。 |
 |
22
ShinichiYao 55 mins ago
看了一下基本反駁觀點：我偷你怎麽了你來路也不正，我付了錢了我就是大爺，你不偷看我怎麽知道我在偷你的。
這個國家的基礎教育出了大問題 |
 |
23
0x93ee 54 mins ago
钓鱼举例不对，因为蒸馏是你的还在，我把你的学来了。
@akorn 搞得蒸馏的时候人家没付钱一样。 蒸馏完全和抄袭不是一回事，抄袭是白嫖。蒸馏是花钱买了你的知识，至于我拿你的知识是自己用还是变成老师教别人，那都是我的事情，只要我是花钱买的。 |
|
24
0x93ee 52 mins ago
@Berin 如果是付费调用你的接口呢，获取的数据我是不是可以拿来做其他事情比如让我的 AI 学习。
就比如你交了学费在课堂上蒸馏了老师给你的知识，那么如果你当了老师，再给其他人教学是不是变成了你偷你老师的了？ |
 |
25
InDom 51 mins ago
A 造了一辆车, 各项性能都很好.
但他的车只租不卖, 按行驶里程收费. 现在来了几个人, 租了车后开到自己的工厂, 让工人拆开学习造车. 后来 A 发现了, 就大骂: 我的车都有定位, 有记录仪, 你们开到哪了我都知道, 我还知道你们都谁拆的. 你们这是抄袭我的车. |
 |
26
beimenjun 45 mins ago via iPhone
当一个东西具有稳定的争议性的时候，更重要的是明白这个事情的复杂性，评论区许多人完全没必要把自己当作可以做出判决的獬豸，你们不是，也当不了，更没必要。
|
 |
28
easonhui OP 那大概有点像是抄作业吧。
|
 |
29
langhuishan 11 mins ago
chatGPT 刚开始做大模型的时候，是雇佣了大量人员，手工标注。蒸馏就是去掉了人工标注，让被蒸馏的 AI 来标注。
|
Select Language