感觉这种 GPT 这种语言技术虽然不知道什么原理，但真是太强大太降维打击了。。

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 581 天前的主题，其中的信息可能已经有所发展或是发生改变。

去年我还在想学习一下“编译原理 /编译器”技术，来尝试实现编程语言代码的自由转换。现在想想真的太幸运自己没有花时间在上面，那真是太浪费时间了，还好没碰。

现在 chatgpt 技术太牛逼了，随便贴一段代码，都能给你转换出来，甚至汇编语言都可以，还把注释的明明白白。

虽然搞不清楚深度学习是什么原理搞定的，但毋庸置疑 gpt 是懂编译原理的，毕竟它也属于自然语言。

唉，可怕。。

原理

GPT

语言

编译

39 条回复 • 2023-04-10 01:11:43 +08:00

fox0001

2023-04-08 11:09:21 +08:00 via Android

编译原理，是大学本科的计算机专业课程的必修课。没碰上，我觉得不是“幸运”。如果啥都不去弄懂，很容易被 AI 淘汰。

另外“gpt 是懂编译原理的，毕竟它也属于自然语言”，这句话我看不懂。

James369

2023-04-08 11:17:43 +08:00

@fox0001 这句话我是这么理解的，GPT 是自然语言处理模型，而编译原理解决的是计算机语言问题，而计算机语言是更有规则的自然语言。所以，GPT 可以解决编译原理所解决的问题。

poyanhu

2023-04-08 11:21:35 +08:00

GPT 有时候，也会一本正经地胡说八道。

cmdOptionKana

2023-04-08 11:21:57 +08:00

用计算机可以计算得很快，但是你还是要学数学，你的数学知识丰富了，触类旁通能解决很多问题。编译原理也一样，有没有这个基础知识，写程序时的思维层次就不一样，“AI 能做” 与 “你自己具备知识” 不矛盾，也不能简单替代。

James369

2023-04-08 11:30:02 +08:00

另外，AI 的崛起也从某些方面降低了算法的门槛，很多传统算法都被机器学习干趴下了，传统算法结果和精度也没有 AI 那么好。
你甚至可以不需要知道很多传统算法基础。比如搞视觉的，你可以不需要知道太多原理，如色彩 /频谱 /变换 /滤波等等，就可以开始用数据训练了。

fox0001

2023-04-08 11:34:14 +08:00 via Android

@James369 #2 把“计算机语言”定义为“自然语言”的一个子集，我表示不理解。一般会认为是两个东西，都是“语言”的子集。

我明白你的意思。只是大家交流时，会以统一的知识去交流，避免歧义，并且更高效。这是“学习”和“知识”的其中一个作用吧。

xabcstack

2023-04-08 12:36:08 +08:00 via iPhone

原来就是复杂一点的字符串匹配

liveoppo

2023-04-08 12:40:35 +08:00

可能 GPT 并不懂编译原理，甚至不懂 1+1=2
只是因为喂给它的数据里面 1+1 后面总是跟一个 2 ，所以它就在 1+1 后面放一个 2 给你
我看过一个 GPT 原理的视频，我目前的肤浅理解是这样

jackge0323

2023-04-08 12:49:53 +08:00

只是提高了程序员的工作效率，他写的东西你看不懂，啥都是白搭。

aotuman233

2023-04-08 13:01:45 +08:00 via iPhone

计算机语言是牛魔的自然语言子集

yuzo555

2023-04-08 13:09:06 +08:00

人类弄明白大脑会产生意识的原理了吗？也没有。

但人类发现神经网络节点堆得越多，到一定程度就会发生质变。

个人理解：我相信计算机模拟的神经网络堆到一定程度，也会产生质变，产生思维，甚至产生意识。

leimao

2023-04-08 13:48:04 +08:00

https://leimao.github.io/article/OpenAI-GPT-Models/

Ocean810975

2023-04-08 14:03:10 +08:00

https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/
可以看一下这个文章，讲了 LLM 的原理。

ccxxjjjjjj

2023-04-08 14:13:17 +08:00

上周刚听完几场语言和多模态大模型的讲座，这个博客中提到的几篇文章都是 GPT 技术发展的典型作品，正好看您推荐的博客巩固一下。

我自己的一些粗浅的见解，GPT 类模型大家称为“prompt”类模型。当 GPT-2 投喂了足够多的数据后，你给模型一个“prompt”，它可以自动给你接上回答。从 GPT-2 开始，基于这项技术的 tabnine 这类工具便开始流行开来。

如何设计一个“prompt”甚至也成为一项重要的工作。好的 prompt 可以导向你想要的答案。从 GPT-2 到 GPT-3 甚至现在 GPT-4 ，更多更好的数据，设计更规范的“prompt”都给这类模型带来了质的变化。当然，你也见过设计“好”的 prompt 可以让 GPT 越狱，产生 openai 不允许的暴力、恐怖和儿童色情答案。

因此它可能真的不懂如何如何将 A 语言转换为 B 语言。但他懂你的“prompt”，即有人曾经这样实现过“这个功能函数是将 A 语言转换为 B 语言”。它知道你要干什么，并且在见过足够多的样本后具有了这样的能力。

当然缺点就是，这类语言模型不是基于像正则匹配 / 语言范式那样人为设计的规范训练的，因此结果可能是不可控制的。真实性和偏见性很多时候也无法调整，只能借助于更好的数据 + 更完善的微调来控制。

ccxxjjjjjj

2023-04-08 14:16:27 +08:00

话说回来，最近两个月 openai 和 Google 以及 meta 又去卷多模态的大模型(视觉+语言)去了。虽然还没有见过现象级产品，但是论文都发出来了。

laqow

2023-04-08 14:30:56 +08:00

你和它说“你给的数据是错误的”，它会说对不起然后跟你另外编一个

takato

2023-04-08 14:44:28 +08:00

以后 A.I 如果会跟你插科打诨就需要补基础了。现在其实么，有些东西我们不知道的话，其实很难问出来真正有价值的内容的，然而基础知识更适合结构性地查找。

greygoo

2023-04-08 14:46:26 +08:00

有了 chatgpt ，现在也不需要很多人学那么底层了

wsseo

2023-04-08 15:53:33 +08:00

怎么辨别是不是在胡说八道？

autoxbc

2023-04-08 16:05:23 +08:00

@liveoppo #8 我看过的视频里说，神经网络是对真实世界的映射，当喂给他一些数学运算后，最终他懂的是数学。在这个意义上，GPT 是懂编译原理的

Leviathann

2023-04-08 16:25:48 +08:00

概率模型，有什么懂不懂的，只有准不准

或者说，机器学习，可以类比人类的感觉，就是没有推理的过程的感觉

killadm

2023-04-08 16:45:33 +08:00 via Android

ida f5 + chatgpt ，感觉没汇编啥事了

fyxtc

2023-04-08 17:14:24 +08:00

想学难道不是兴趣驱动吗，大学时候我完全是靠着自己的兴趣去学习，想要知其所以然，而不是那么功利化，觉得有人能帮你做了自己就不学，如果什么东西都功利化，也许会走的很快，但是肯定走的不远，一点浅见

Nugine0

2023-04-08 19:07:13 +08:00

可能连 OpenAI 自己都搞不明白 GPT 的智能是怎么来的

Huelse

2023-04-08 19:07:47 +08:00

你总不能让他给你编译程序吧？我认为还是有本质差别的，得有前人完成类似工作，真让 gpt 去创造一些东西基本都是在胡编乱造。

alne

2023-04-08 19:12:35 +08:00

@ccxxjjjjjj #15 meta 刚推出一个 segment anything

sillydaddy

2023-04-08 19:31:44 +08:00

@Ocean810975 #13
感谢分享长文，这个对 LLM 的讲解相当的 step by step 了。

jaywhen

2023-04-08 20:07:15 +08:00 via iPhone

别的我不知道，我只知道用好它真的能提高我的下班速度

NullPoint

2023-04-08 21:19:41 +08:00

chatgpt 在训练的时候会加入代码作为训练数据，然后就出现了两种效果，一是可以理解机器语言，二是提高了逻辑性。

luckykong

2023-04-08 22:38:07 +08:00

"现在想想真的太幸运自己没有花时间在上面，那真是太浪费时间了，还好没碰。"

曾经，也有很多人觉着“真实太幸运自己没有花时间、金钱在芯片、材料上面，那真是太浪费时间和金钱了，还好没碰”。然后十几年之后，血流满地。。。

现在，又到了全人类觉着自己足够幸运没有花时间了，不知道几十年之后，会有什么经验和教训。。。

InvincibleDream

2023-04-08 22:49:34 +08:00

要是花点时间学一下说不定几十年后就是非物质技术遗产的传承人了

insmoin

2023-04-09 01:21:07 +08:00

ChatGPT 粗略理解就把单字接龙玩到极致同时，将巨量的知识尽可能压缩到极致，从而涌现出的智能。
压缩即泛化，泛化即智能

winglight2016

2023-04-09 09:25:24 +08:00

最近发现很多人觉得 chatgpt 太可怕了，什么都会，会取代自己的岗位，后面这个可能性是有的，但是也没那么快轮到程序员。前面这个就是对于 chatgpt 的背后原理不了解，或者不了解 chatgpt 的能力范围。

个人觉得，对于使用者来说，如果是自己专业范围外的问题，那么很有可能你是问不出什么深层次的问题的，这种情况下，chatgpt 能够很好的解答一些基础问题，而且不容易犯错，对使用者来说已经“惊为天人”了。

而如果是使用者自己专业范围内的问题，那么一旦问出比较复杂、实际的问题（ practical ）,chatgpt 经常性的会瞎编，或者半瞎编，你必须自己识别问题或者修改 debug 。

那么，对于 chatgpt 的使用场景，我觉得最合适的就是创意类的问题，有时候我就是需要“畅想”若干 ideas ，这个时候 chatgpt 就非常有用和实用。