V2EX  ›  英汉词典

Student Model

Definition / 释义

student model(学生模型):在机器学习中,指一个较小或较轻量的模型,通过模仿更大、更强的 teacher model(教师模型) 的输出或中间表示来训练,以在尽量保持效果的同时降低计算量与部署成本。(也可指“学生身份的模特”,但在技术语境中通常指前者。)

Examples / 例句

A student model learns from a teacher model.
学生模型向教师模型学习。

To deploy on mobile devices, they distilled a large network into a compact student model with minimal accuracy loss.
为了在移动设备上部署,他们把一个大型网络蒸馏成紧凑的学生模型,并尽量减少精度损失。

Pronunciation (IPA) / 发音(IPA)

/ˈstuːdənt ˈmɑːdəl/(美式常见)
/ˈstjuːdənt ˈmɒdəl/(英式常见)

Etymology / 词源

student 源自拉丁语 studēns(“学习的人”),与 study(学习)同源;model 源自拉丁语 modulus(“尺度、范式”)。在机器学习里,“student model”借用了“师生”隐喻:学生通过模仿老师来掌握知识,对应到技术上就是学生模型通过知识蒸馏(knowledge distillation)等方法学习教师模型的行为。

Related Words / 相关词

In Notable Works / 文献与著作中的使用

  • Distilling the Knowledge in a Neural Network(Hinton, Vinyals & Dean, 2015)
  • Born-Again Neural Networks(Furlanello et al., 2018)
  • Knowledge Distillation: A Survey(Gou et al., 2021)
  • TinyBERT: Distilling BERT for Natural Language Understanding(Jiao et al., 2020)
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1711 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 14ms · UTC 06:35 · PVG 14:35 · LAX 22:35 · JFK 01:35
♥ Do have faith in what you're doing.