[笔记] ELMO, BERT, GPT 简单讲解 - 李宏毅

国内视频地址:https://www.bilibili.com/video/BV17441137fa/?spm_id_from=333.880.my_history.page.click&vd_source=bda72e785d42f592b8a2dc6c2aad2409

1 NLP 基础

1.1 词的表示过程演进:

  • one-hot 编码
  • 词袋模型
  • word embedding

1.2 multiple sense

1)明确两个概念:token 和 type
  • type:形式
  • token:含义

例如 bank 有很多不同的(token)含义(银行、河岸等),但它们都有着相同的(type)形式。

2)考虑到上面的问题,现在的 embedding 做法是为每个 token 提供一个 word embedding

然后具有相近语义的 token 也具有较为接近的 embedding 距离。

1.3 如何 embedding

1)基于 RNN 的 ELMO

最终我们取 hidden layer 层的向量做为 token 的 embedding。
或者更进一步,通过 weight 将所有的输出进行加权求和:

2)基于 Bert

Bert 基于 Transformer,关于 transformer 可以参考:

bert 的原理可能无法一直记得很清楚,但我们只需要记得 bert 的作用,简单来说可以理解为 transformer 中的 encoder,给定一个句子(或词汇),输出该句子(或词汇)的 embedding 表示:

注意:这里图片中中文的例子是用“词”作为输入,但是更推荐用中文的 “字”作为输入,因为中文的“字”是有限的,而“词”理论上是无穷的,这会导致编码空间非常大。

2 BERT 介绍

2.1 背景

可以参考上面 1.3 节 2)。

2.2 如何训练 Bert

1)方法一:Masked Language Model(Masked LM)

采用对输入进行 mask 让其重建来训

  • 将输入的某个词 mask 掉,然后取其输出 embedding,丢入一个 multi-class classifier 中,要求其预测出现在被 mask 掉的那个词汇是哪个词汇
  • 由于 linear classifier 的分类能力较弱,所以 BERT 就需要输出一个表征能力比较好的 embedding,这样就巧妙的获取了对特定词的良好的 embedding
  • 另一个好处是相似的词,在这种训练框架下,也能获得距离较近的 embedding 表征
2)方法二:Next sentence Prediction

采用预测两个句子是否能连成一个句子

  • 在两个句子间加一个特殊符号 [SEP] 标识告诉模型这是两个句子
  • 在开头加一个特殊符号 [CLS] 告诉模型接下来做的是分类任务,就是预测是否能组成一个句子
    这里注意:由于 BERT 的内部是 transformer 架构,使用 self-attention 机制使得任意两个输入向量之间的距离是一样的,所以任务标识可以放在开头。如果单向 RNN 结构,则需要放在末尾。
  • 同上一节一样,linear classifier 的分类能力有限,这也会促使 BERT 去产生更好的 embedding
3)小结

通常情况下,上面这两种方式在训练 BERT 时是一起使用的,让 BERT 同时去解这两个任务时,它会学的更好。

2.3 How to use Bert

在 BERT 的论文中,作者其实时将 BERT model 模块本身和下游任务一起训练的(当然 bert 大部分情况下都是 fine-tune),为此举了四个例子来展示如何实现训练和使用

1)case 1:sentence classification

输入:句子
输出:预测类别

  • 下游任务是文本分类,由 Linear Classifier 模块表示,这个部分是通过随机初始化参数,从头开始学的
  • 文本表征(embedding)模块主要就是 BERT,这部分是 Fine-tune 形式参与训练的
2)case 2:each word insentence classification

输入:句子
输出:句子中每个词的预测类别

  • Linear Cls 是下游任务模块,从头训
  • Bert 采用 fine-tune 方式
  • 训练时需要给定当前句子 以及 当前句子中每个词的类别
3)case 3:Nature Language Inference(推理)

输入:两个句子,一个作为前提(A),一个作为假设结论(B)
输出:预测类别,即判断以 A 作为前提的情况下,B 假设是否成立(T、F or unknown)

  • sentence 1 作为 premise,采用 [SEP] 与 sentence 2 作为 hypothesis 分隔开;
  • 第一个位置用于 CLS;
4)case 4:Extraction-base Question(抽取文章用于回答,QA)

先介绍这个 case 吧:

通常情况下,这类问题期望我们输入一篇文章给 Model,然后根据我们的 question 由 model 抽取出答案。

注意:这里面有个限制就是 answer 是要在文章中出现过的,比如上图第一个问题的回答 gravity 就在文章中出现过。

这个问题的结构化表示如上图,定义文章 Document 由一系列 token 组成(\(\{d_1, d_2, ..., d_N\}\)),其中 \(d_i\)即表示第 i 个 token,同理问题 Query 也用此方式表示。

接下来,我们将 D 和 Q 作为输入送入 Model,模型会输出来两个整数 s、e,分表代表回答内容在 Document 中的起始位置。例如上面第一个问题,答案 gravity 在 D 中的位置区间就是 17-17(第17个单词到第17个单词)。

那么,BERT 中如何解这个问题呢?

  1. 首先,将 question 和 document 拼接作为 BERT 的输入
  2. 接两个网络层分别产出两个向量(下图中红色、蓝色),这两个向量和 BERT 输出的 embedding 向量具有相同的 size
  3. 先将红色向量与 document 中每个输出 token 进行点乘(dot product),结果过 softmax,得到每个 token 的概率表征,取其中最大的作为 s 输出(例如图1中第二个 token 的概率最大,所以 s=2)
  4. 再将蓝色向量与 document 中每个输出 token 进行点乘,过 softmax 后,取概率最大的位置作为 e 的输出
  5. 最后的答案就由 s、e 来进行定位
  • s、e 任务的点乘向量与 token 的 Embedding 向量维度一致
  • 如果 s、e 不满足正常情况(s<=e),此种情况作为“此题无解”输出
  • Bert 采用 fine-tune,红、蓝向量从头开始训

2.4 for chinese:ERNIE

ERNIE 是为中文设计的 BERT,其采用的训练方式有一点不一样,因为 BERT 采用对单个 字 进行 mask,但这在中文中是很容易被猜出来的,所以其采用了 mask 词 的方式进行训练。

这里只是提一嘴,更具体的还是看论文吧:https://arxiv.org/abs/1904.09223

2.5 BERT 每层的侧重

常用 Bert 为 24 层,nlp 任务其实是一个 pipiline 任务,从语言学的角度上来说,对一个句子的分析通常包含词法分析、语法分析、语义分析等过程,这张图就展示了在不同任务上,Bert 的不同层所占的权重大小(也即哪些层的输出在这些特定任务上的表现更好):

这启发我们,可以根据 nlp 任务的不同特性来选择使用 bert 不同层抽象出来的 token embedding 进行使用,例如对于 POS 任务来说,第 11-13 层的权重较大,其 hidden embedding 效果较好。

3 GPT-2

Generative Pre-Training(GPT)本质上就是一个巨大无比的 language model,其底层采用的是 transformer 的 Decoder 模块。

3.1 GPT 的训练

  • 训练模式和 bert 类似,输入一个句子的开始标志 、当前词汇,预测下一个词汇
  • 每个词汇过 self-attention,其 query 输出和前面的词的 key 输出做权重计算,同时也和自己的 key 做权值计算,最后将所有计算结果做 sum。注意这里通常是过好几层 self-attention 层,猜得到最终的输出,最终的输出其实是一个 embedding。

3.2 zero-shot

GPT 是非监督学习,采用 zero-shot 方式进行训练。即使是在这种缺失监督信息的情况下,仍然能奇迹般的泛化出对某些任务的解题能力,这是比较神奇的。

  • Reading Comprehension:只通过输入文章表征、query 表征,然后接上 "A:" 提示标志,GPT 就会自动的给出该 query 的回答,上图折线是不同参数(横轴)下 GPT 的 F1(纵轴)指标效果;
  • Summarization:类似的,给出文章表征和特定 "TL;DR:" 提示标志,就会得到摘要;
  • Translation:给出前两个如上图所述的范式,再给出第三行范式,就会自动的得到对应的法语翻译结果(但是这个任务的效果很差);

热门相关:最强狂兵   惊世毒妃:轻狂大小姐   战神   夫人,你马甲又掉了!   夫人你马甲又掉了