这是一个创建于 623 天前的主题，其中的信息可能已经有所发展或是发生改变。
Higher values like 0.8 will make the output more random, while lower values like 0.2 will make it more focused and deterministic. 怎样通俗的理解这句话？ 到底是 temperature 更高还是更低其给出的答案更准确？
 |
1
GTim 2023-03-09 08:27:33 +08:00  1
你可以理解为情商的高低，越高，那么说话就越圆，看不出本心所在，而越低则也接近于说真心话
|
 |
2
studyingss 2023-03-09 08:50:55 +08:00 via Android 2
100==李诞
0==高等数学（浙江大学版） |
 |
3
superedlimited 2023-03-09 08:52:43 +08:00 6
这不就是字面意思吗？还要多通俗？这种也需要提个问题发帖？这种简单的意思都明白不了，chat 狗屁通很快要取代你了。
|
 |
4
chanssl 2023-03-09 09:04:02 +08:00
ChatGPT 的回答如下：
在 ChatGPT API 中，temperature 参数是控制生成的文本输出的随机程度的参数。temperature 值越高，输出的结果越随机，而值越低，输出的结果则越趋向于确定性，即会更加预测和不那么出人意料。 这个参数可以理解为控制文本生成器的创造性程度的开关，更高的 temperature 会更多尝试新的文本输出的方式，而更低的 temperature 值则会更多利用已经生成的文本内容，产生更接地气的结果。 到底是高温还是低温更准确，取决于具体应用场景和业务需求。有时，需要生成更加创新性和出人意料的文本，这时选择更高的 temperature 值会更好；但有些时候，需要生成更加符合实际场景的文本，这时候选择较低的 temperature 值会更合适。 |
 |
5
Chad0000 2023-03-09 09:09:23 +08:00 via iPhone 2
改成 alcohol 是不是更容易理解了？
|
 |
6
joyqi 2023-03-09 09:11:08 +08:00 via iPhone
就是信息熵的高低，越高不确定性越大
|
 |
7
shyrock 2023-03-09 09:23:17 +08:00 2
|
 |
8
shendaowu 2023-03-09 09:25:23 +08:00 1
@superedlimited 你有没有过当时觉得自己明白了，后来发现理解错了的经历？有得话多不多？
|
 |
9
Tufutogo 2023-03-09 09:29:10 +08:00 via Android 1
我感覺應該直接問 ChatGPT 就有回答了
|
 |
11
wind1986 2023-03-09 09:55:53 +08:00 8
@superedlimited chatGPT 应该是没办法取代你的臭嘴了
|
 |
12
unco020511 2023-03-09 09:58:51 +08:00
我也想知道,而且这个参数似乎也会影响 gpt 的回答速度
|
 |
13
silypie 2023-03-09 09:59:41 +08:00 1
温度是用来调整在词表上的概率分布的，新的概率分布是原始概率分布除以温度，所以温度越高概率分布会越平缓，采样得到的输出也就越随机
|
 |
14
17681880207 2023-03-09 10:00:54 +08:00
是不是理解为，人在发烧很高的时候，会说胡话，但是冷静下来说的都是真话。哈哈~
|
 |
15
gablic 2023-03-09 10:03:09 +08:00
|
 |
16
cuicuiv5 2023-03-09 10:19:09 +08:00
不如直接问他自己
|
 |
17
hahastudio 2023-03-09 10:24:49 +08:00 2
Temperature 是 GPT 模型里面的通用概念，感觉跟模拟退火（ Simulated annealing ）里面的类似。
> 模拟退火来自冶金学的专有名词退火。退火是将材料加热后再经特定速率冷却，目的是增大晶粒的体积，并且减少晶格中的缺陷。材料中的原子原来会停留在使内能有局部最小值的位置，加热使能量变大，原子会离开原来位置，而随机在其他位置中移动。退火冷却时速度较慢，使得原子有较多可能可以找到内能比原先更低的位置。 参考： https://ai.stackexchange.com/questions/32477/what-is-the-temperature-in-the-gpt-models https://zh.wikipedia.org/wiki/%E6%A8%A1%E6%8B%9F%E9%80%80%E7%81%AB |
 |
18
lonewolfakela 2023-03-09 10:52:49 +08:00
事实上只要把温度拉到 2 ，然后让它讲个笑话，就能明白这个东西是干啥的了……
前面说应该改成 alcohol 的那位确实很贴切…… |
 |
19
Ricardoo 2023-03-09 10:53:24 +08:00 1
为什么叫温度？这个概念最早来自知识蒸馏（也许）。模型在使用 softmax 计算概率分布之后，通过除以常量，可以控制概率分布偏硬还是偏软。在 student model 训练时，往往将其设置成较大参数，更好地学习 teacher model 的知识，训练完成在推理阶段再将此参数调小。整个过程就像蒸馏一下，先高温提纯，再冷却结晶。因此这个参数被称为温度参数。后来发现非蒸馏任务中也可以使用此参数，虽然跟蒸馏无关，但是温度的叫法延续下来了。
|
 |
21
danieladu 2023-03-09 11:03:51 +08:00
你可以认为 问一个擦边的问题，temperature 越高，输出的结果让你内心 "越热"的概率越高
|
 |
22
krixaar 2023-03-09 11:19:02 +08:00
@17681880207 #14 所以理解成这个数字是和 37 摄氏度的差值，37.2 的时候还正常，37.8 往上就有说胡话的可能性了，40 度就满嘴胡话了，这样？🤣
|
 |
23
Giftina 2023-03-09 11:25:49 +08:00
类似于《星际穿越》中 TARS 的幽默值 `Humor`，抄一段电影结尾，库珀和 TARS 重逢之后，库珀重置个性化设置的对话：
- Humor: 75 percent. “幽默值：百分之七十五。” - Confirmed. Auto self-destruct T-minus 10, nine... “已确认。自毁程序启动，开始倒计时 ：十，九……” - Let's make that 60 percent. “还是百分之六十吧” - Sixty percent confirmed. Knock knock. “已确认。咚咚咚。”（烂梗） -You want 55? “你想要我改成百分之五十五吗？“ |
 |
24
rimutuyuan 2023-03-09 11:36:11 +08:00
那对应的问题 top p 具体是代表什么
|
 |
25
leimao 2023-03-09 11:42:57 +08:00 via iPhone
softmax with temperature
|
|
26
leimao 2023-03-09 11:45:20 +08:00 via iPhone
|
 |
27
isnullstring 2023-03-09 11:54:01 +08:00
就是脑洞参数，值越高，脑洞越大
|
 |
28
lookStupiToForce 2023-03-09 11:57:19 +08:00
我的理解：
Temperature 可浅显理解为初始能量 初始能量越高，从当前输入搜索能覆盖到的范围越大，（继续加大力）找到更优解的可能性越大。 但使用模型时，你肯定不希望它需要非常长的搜索时间后才能回答你（ openai 这方面肯定有限制，算力 /性能占用限制、超时时间限制），所以会对搜索广度深度均有限制 且目前大部分细类领域，想用 chatgpt 想得到较好结果仍需要人为 promt 去剪枝，它自己的剪枝策略基本没有（也许继续加参数能涌现出来？） 所以如果 Temperature 设定过高，出结果时它更容易发散后陷入到某些局部最小值里去，甚至可能都不如原地小范围搜索来得好，这样就可能表现为： 1. 不懂装懂胡编乱造 2. 多次相同输入会返回多种不同甚至互相矛盾的结果 |
|
29
hahastudio 2023-03-09 12:08:47 +08:00
|
 |
31
zictos 2023-03-09 15:06:21 +08:00
chatgpt 说网页版默认是 0.7 ，api 默认是 1
|
 |
32
wqzjk393 2023-03-09 16:34:37 +08:00 via iPhone
说白了，越高，就越随意，越低就越严谨。类似于星际穿越里面机器人的幽默程度，你 temperature 越高，回答越随意但是从另外一个角度来说也是越有意思，而严谨的另一个说法你也可以理解为死板
|
 |
33
dayeye2006199 2023-03-10 02:42:24 +08:00
就是物理意义上的 “温度”。 温度越高，物质越活跃，能量越高，行为越难以预测，随机性也越高。
这个名字在其他的算法里面也有用到，比如上面提到的模拟淬火，也有温度这个参数，也是控制解迭代的时候随机性的。 |
 |
34
kristingna 2023-03-10 10:16:02 +08:00
429 了
|
|
35
hahastudio 2023-03-13 16:06:49 +08:00
https://lukesalamone.github.io/posts/what-is-temperature/
What is Temperature in NLP? |
Select Language