1
Liu6 OP 我发自己的邮箱 需要注册满 14 天 我发不了自己的 邮箱 QAQ 1793670758qq.com
|
3
shicheng1993 2019-10-12 09:41:34 +08:00 1
## 谷歌给的源码确实上手有点痛苦,分享点我浏览的资料吧。
## 连接就不挨个给了,直接去搜标题,应该能搜到。 ## B 站上的视频讲的很好。 jessevig/bertviz: Tool for visualizing attention in the Transformer model (BERT, GPT-2, XLNet, and RoBERTa) 汉语自然语言处理-BERT 的解读语言模型预训练-实践应用-transformer 模型(二)-语料预处理-情感分析分类-数据增强-解决过拟合问题-深度学习训练技巧_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili 9.1. Attention Mechanism — Dive into Deep Learning 0.7 documentation [MXNet/Gluon] 动手学深度学习番外篇:注意力机制概述_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili 动手学深度学习 注意力 - 搜索结果 - 哔哩哔哩弹幕视频网 - ( ゜- ゜)つロ 乾杯~ - bilibili 9.3. Transformer — Dive into Deep Learning 0.7 documentation The Annotated Transformer NLP 必读:十分钟读懂谷歌 BERT 模型 - 知乎 最强 NLP 模型 BERT 可视化学习 - 知乎 [NLP] Attention 原理和源码解析 - 知乎 BERT---容易被忽视的细节 - 知乎 BERT 时代与后时代的 NLP - 知乎 [NLP] 理解 NLP 中网红特征抽取器 Tranformer - 知乎 NLP 历史突破!快速解读 Google BERT 模型 + Word Embedding_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili BERT 专题系列(一):Attention 机制_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili BERT 专题系列(二):Transformer ( Attention is all you need )_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili BERT 专题系列(三): AI 解惑者的个人空间 - 哔哩哔哩 ( ゜- ゜)つロ 乾杯~ Bilibili 超越 BERT: GPT-2 , XLNet,MT-DNN 模型详解(英文字幕)_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili 60 分钟带你掌握 NLP BERT 理论与实战_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili ## 下面是可以关注的一些和 BERT 相关的开源项目: keras-bert bert_sa bert-as-service ### 上手简单的: fast-bert ### 蒸馏或者提高效率的: cuBERT albert_zh PKD-for-BERT-Model-Compression https://github.com/huggingface/transformers/tree/master/examples/distillation |
4
Liu6 OP @shicheng1993 非常感谢
|
5
tobiaslee98 2019-10-12 10:09:44 +08:00
原理相关的教程上面给的已经挺多了,不过建议有时间回头去把 Attention is All You Need / GPT / ELMo / BERT 这几篇文章看一下
对于做二分类任务,拿着官方 repo 改成你数据集上的,可以参考下面这个教程 https://leowood.github.io/2018/11/16/BERT-fine-tuning-01/ |
6
xuelang 355 天前
|