虽然“词元”出现在学术怎章里时间不太长，至少也比 gpt3 时间长吧。 type-token 的概念在语言学里都上百年了。 不知道大家吵的“词元”翻译有什么意思？ 如果不是搞 NLP 的，单拿出来 token ，谁会知道这是个“形符”？
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
 |
1
valorChang 1h 15m ago
 |
 |
2
zjttfs 1h 14m ago
个人觉得虽然翻译的不好听(个人喜好),但该用用,没啥问题.
|
 |
3
akiyamamio 1h 14m ago
当然是因为这个词被政治化了，任何东西被政治化了，那么一定就有支持者和反对者
|
 |
4
awesomePower 1h 13m ago  1
因为它现在不仅仅是一个翻译。官媒已经把它上升到“话语权”和“数字主权”的高度了。
|
|
5
awesomePower 1h 11m ago
举个不相关的例子。就是英雄联盟里“暮刃”这个装备名，自从被当成男女斗争的名词之后，那它就不再只是一个装备名了。
|
 |
6
Cheons 1h 10m ago via Android
不够信达雅 直接
|
 |
7
ty29022 1h 8m ago
把 RSA 给“正名”了才算本事， 比如说改叫朱雀算法之类的
token->词元， 没难度， 别邀功了 |
 |
8
aliveyang 1h 8m ago
@valorChang 这图 WiFi 就能直接用，为啥 token 就得翻译
|
 |
9
tomyark123 1h 7m ago
因为政府推了所以他们反感。。为了反对而反对。
|
 |
10
uncleroot 1h 6m ago
词元这个翻译不是在今年 3 月才被正式定下来吗？
大伙已经用惯 token 了，而且「词元」并不比「 token 」简单。 你要用你用，也不是不能看。你别强迫我用就行。 |
 |
11
PolarBears 1h 4m ago
@aliveyang 🤔说到 Wi-Fi 就想起来了，我们这边不是应该叫 WLAN 吗？
|
 |
12
jacketma 1h 4m ago
感觉英文里 token 也不是很确切，但是又没有更好的表达。词元感觉有点怪，没有别的用了，先将就着呗
最近 AI 界造新词太多了，那个 vibe coding 都啥啊，词不达意也流传开了么 |
 |
13
latifrons 1h 4m ago
人的认知决定了立场，说词元这个翻译好的，基本都只是安身一隅，不懂 token 这个词在不同场景下的不同意思。
你凭什么用这个词在 LLM 里的含义，去全盘翻译这个词语？这个翻译甚至都不能涵盖自己领域里的概念，如 Image tokenization. |
 |
14
tty0 1h 2m ago via Android
不如叫 偷啃
|
 |
16
anheiyouxia 1h 0m ago
@latifrons 说别人“立场决定认知”，结果自己的论据却是“这个译法不能覆盖 token 在所有领域的意思”，恰恰说明讨论的不是术语准确性，而是在先有结论后找理由。
|
 |
17
Tink 59 mins ago
这个词翻译的很好，信达雅兼具，比令牌什么的可靠谱太多了
|
|
18
latifrons 57 mins ago
@anheiyouxia 很多人觉得翻译的好，不就是因为他们自己的视野局限在 LLM 领域，却忽略了万物皆可 token 化的事实吗？ token 之所以难翻译，正是因为万物皆可 token ，你凭什么非得翻译为词元？不就是 LLM 最近火，谁火谁说了算吗
|
|
19
anheiyouxia 52 mins ago
|
|
20
anheiyouxia 49 mins ago
@latifrons 按照你这句话来理解,把"鼠标"这个词都是错的
|
 |
21
Essaim 49 mins ago
1. 中文是表意文字，词元确实不能很好的表达 token 这种多含义，很抽象的词。
2. 词元确定时间较晚，先入为主确实很重。 但是我还是觉得翻译的及格，至少他没有为表达上带来成本，不能覆盖 token 的所有含义，以后再增加不同场景的翻译就是，中英词语如果要意译本来就不是一一对应的。 16 年左右闹得沸沸扬扬的中文保护运动，所有游戏里面的 exp 、hp 、mp 都要用中文表示，影视作品不能产生英文缩写，那段时间确实有恶心到人。去看个电影字幕是脱氧核糖核酸，平时看的少脑子里要转一下影响理解，玩个游戏本来就在很有限的 UI 位置塞下不方便缩写的中文。后面上面发现确实有点矫枉过正了，对合理的英文字幕简写也放松了。 |
 |
22
longaiwp 47 mins ago 1
因为那些人都很恨自己皮肤是黄的，出生在这片土地上，把这个词汇当成了政治的切入点。
|
|
23
latifrons 47 mins ago
@anheiyouxia 我认为我是一个非常客观的人，就事论事，好就是好，不好就是不好。
如果你想在 LLM 范畴里讨论用词准确性，那我奉陪。 提问，把一段包含了数字和代码的文本做 tokenization ，算不算词？把中文的文本每一个字做 tokenization ，算不算词？把英文的一个单词打碎成两个 token ，算不算词？ |
 |
24
lscho 45 mins ago
楼上一堆说没翻译好的，是不是忽略了这个世界上还有 99% 的人是不懂 AI 原理的普通人？说别人安身一隅，搞得好像你们格局和视野多宽广一样。
还大伙用惯了 token ？你们专业人员爱用 token 就继续用呗，所有的翻译不都是给普通人准备的吗？你们都知道万物皆可 token ，所有领域都能 AI 。那你们怎么不知道普通人也要接触 AI 呢？ 按着他们的头让他们说 token ？摸着良心问问自己，不懂 AI 原理的人理解词元简单还是理解 token 简单？ 非要扯到“官媒政治化”、“数字主权”，扯政治化、数字主权 AI 圈政治化也不是国内先开始的。别人政治化、数字主权就合理，国内就得喷一喷？ |
|
25
Tink 43 mins ago
@latifrons #23 其实维基上把这个词的各个语境的翻译都说清楚了 https://zh.wikipedia.org/wiki/Token
|
 |
26
MajestySolor 42 mins ago
‘token’是‘文明’中心的语言，‘词元’是‘文明’边缘的语言，用‘文明’边缘的语言去替代‘文明’中心的语言就是僭越
你跟他说‘token’就是高大上，是自己人，说‘词元’就是土鳖，是野蛮人 不就是这点小心思么，有啥难理解的，偏偏不敢直抒胸臆，只能绕圈子找借口切入，皈依者狂热又不是一天两天了🤣 |
|
27
anheiyouxia 42 mins ago
@latifrons 为什么不算?
token ≠ word |
 |
28
coldmonkeybit 41 mins ago
我理解主要是反感被逼着用，不用就是大逆不道的感觉吧
跟端午安康类似 |
|
31
anheiyouxia 38 mins ago
|
 |
32
VirgilMing 30 mins ago
@latifrons 词元最麻烦的其实是不好接 tokenizer ，总不能真叫词元化器吧？
|
|
34
anheiyouxia 26 mins ago
@latifrons 这又是另外一回事了
|
|
35
latifrons 24 mins ago
@bertonzh 对啊，你明知道这种映射关系是一对多的，那不如就别翻译了。
这个问题来源于隔壁帖子讨论 opencode 的那个 PR ，要不要把 token 在 zh-cn 环境里展示成词元，从 PR 的回复来看，大家都很有意见。 |
 |
36
nakun233 22 mins ago
讲道理，如果不知道 AI 之前，这个词出来压根很难联想到是什么意思，词元不就是字吗。说到底这玩意还是要一段时间普及了才会广泛接受。
|
 |
37
wysnxzm 22 mins ago
有一部分人无论老中说什么做什么他都会挑毛病的
|
 |
38
chendy 21 mins ago
因为反应大的能被看到
像我这种无所屌谓的相当于直接隐身了  |
 |
39
yseek 20 mins ago via Android
“大家好，这里是美国男子篮球职业联赛”
“此次办案民警收集到了脱氧核糖核苷酸” “软糯弹牙，弹牙，弹牙……” |
 |
40
Oceanhime 18 mins ago
因为大家都是程序员，都知道 token 的意思，你非得翻译成什么什么元，我肯定不同意也不支持。
但是我身边很多学汉语言出身的朋友，大多感叹翻译的不错。确实得承认「词元」对于普罗大众群体来说，是一个比较好理解、同时贴近 LLM 实际意义的一个翻译，也不会污染 token 的其他意义。 而且公文写作上，用英文是大不敬，自然强翻也得翻个中文词出来。 |
 |
41
Cruzz 10 mins ago
表音即可，非得表意是什么怪物，中文就没有的玩意非得表意不是神经病么，樱桃叫车厘子没一个人 bb 。token 非得翻译成词元你们到支持上了。车厘子不就是大樱桃，中文又不是表不了意思。算了不说了，越说越生气，啥都得整上意识形态，没个好
|
 |
42
Solix 5 mins ago
  |
Select Language