从头开始训练一个BERT模型是一个成本非常高的工作，所以现在一般是直接去下载已经预训练好的BERT模型。结合迁移学习，实现所要完成的NLP任务。谷歌在github上已经开放了预训练好的不同大小的BERT模型，可以在谷歌官方的github repo中下载[1]。
以下是官方提供的可下载版本：
其中L表示的是encoder的层数，H表示的是隐藏层的大小（也就是最后的前馈网络中的神经元个数，等同于特征输出维度）。
除此之外，谷歌还提供了BERT-uncased与BERT-cased格式，分别对应是否包含大小写。一般来说，BERT-uncased（仅包含小写）比较常用，因为大部分场景下，单词是否大小写对任务的影响并不大。但是在部分特定场景，例如命名体识别（NER），则BERT-cased是更合适的。
在应用BERT预训练模型时，实际上就是迁移学习，所以用法就是2个：
特征提取（feature extraction）
微调（fine-tune）
下面我们会分别介绍这2种方法的使用。
2. BERT特征提取特征提取非常简单，直接将单词序列输入到已经预训练好的BERT中，得到的输出即为单词以及句子的特征。
举个例子，以情感分析任务为例，假设有条句子”I love Beijing” ，它的情感为正面情感。在对这个句子通过BERT做特征提取时，首先使用WordPiece对它进行分词，得到单词列表：
Tokens = [ I, love, Beijing]
然后加上特殊token [CLS] 与 [SEP]（它们的作用已在前面的章节进行过介绍，在此不再赘述）：
Tokens = [ [CLS], I, love, Beijing, [SEP] ]
接下来，为了使得训练集中所有句子的长度保持一致，我们会指定一个“最大长度” max_length。对于长度小于此max_length的句子，对它进行补全；而对于超过了此max_length的句子，对它进行裁剪。假设我们这里指定了max_length=7，则对上面的句子进行补全时，使用特殊token [PAD]，将句子长度补全到7。如：
Tokens = [ [CLS], I, love, Beijing, [SEP], [PAD], [PAD] ]
在使用了[PAD] 作为填充后，还需要一个指示标志，用于表示 [PAD] 仅是用于填充，不代表任何意义。这里用到了一个称为attention mask的列表来表示，它的长度等同于max_length。对于每条句子，如果对应位置的单词为[PAD]，则attention mask此位置的元素取值为0，反之为1。例如，对于这个例子，attention mask的值为：
attention_mask = [ 1, 1, 1, 1, 1, 0, 0 ]
最后，由于模型无法直接识别单词，仅能识别数字，所以还需要将单词映射为数字。我们首先会对整个单词库做一个词典，每个单词都有对应的1个序号（此序号为不重复的数字）。在这个例子中，假设我们已经构建了一个字典，则对应的这些单词的列表为：
token_ids = [101, 200, 303, 408, 102, 0, 0]
其中 101 即对应的是 [CLS] 的序号，200对应的即是单词“I”的序号，依此类推。
在准备好以上数据后，即可将 token_ids 与 attention_mask 输入到预训练好的BERT模型中，便得到了每个单词的embedding表示。如下图所示：
在上图中，为了表述方便，在输入时还是使用的单词，但是需要注意的是：实际的输入是token_ids 与 attention_mask。在经过了BERT的处理后，即得到了每个单词的嵌入表示（此嵌入表示包含了整句的上下文）。假设我们使用的是BERT-base模型，则每个词嵌入的维度即为768。
在上一章介绍BERT训练的时候我们提到过，可以使用E([CLS]) 来表示整个句子的信息。并将它输入到前馈网络与softmax中进行分类任务。但是仅使用 E([CLS]) 作为整个句子的表示信息也并非总是最好的办法。一种更高效的方法是给所有token的嵌入表示做平均或是池化（pooling），来代表整句的信息。具体方法我们后续会做介绍。
至此，我们已经介绍了使用预训练BERT做特征提取的过程，下面介绍如何使用python lib库来实现此过程。
3. Hugging Face transformersHugging Face是一个专注于NLP技术的公司，提供了很多预训练的模型以及数据集供直接使用，包括很多大家可能已经了解过的模型，例如bert-base、roberta、gpt2等等。其官网地址为： https://huggingface.co/
除了提供预训练的模型外，Hugging Face提供的transformers库也是在NLP社区非常热门的库。并且transformers的库同时支持pytorch与tensorflow。
安装transformers 库非常简单：
!pip install transformers import transformers transformers.__version__ \'4.11.3\'