04
为什么要使用如此不同和复杂的tokenization方法？
这些Tokens是比完整单词更复杂的语言表征。
它们有助于处理大量词汇，包括罕见和未知词汇。
使用较小的子单元计算效率更高。
它们有助于更好地理解上下文。
它对不同语言的适应性更强，而这些语言可能与英语大相径庭。
05
fromtransformersimportGPT2Tokenizer#Initializethetokenizertokenizer=GPT2Tokenizer.from_pretrained("gpt2")text="It'sover9000!"#Tokenizethetexttoken_ids=tokenizer.encode(text,add_special_tokens=True)#OutputthetokenIDsprint("TokenIDs:",token_ids)#ConverttokenIDsbacktorawtokensandoutputthemraw_tokens=[tokenizer.decode([token_id])fortoken_idintoken_ids]print("Rawtokens:",raw_tokens)TokenIDs:[1026,338,625,50138,0]Rawtokens:['It',"'s",'over','9000','!']
那么什么是 Token ID ? 它为什么会是一个数字呢？
建议词汇表
从字符开始：词汇表最初由单个字符（如字母和标点符号）组成。 查找常见字符对：对训练数据（大量文本语料）进行扫描，找出出现频率最高的字符对。例如，如果 "th "经常出现，它就会成为候选词汇。 合并和创建新的Tokens：然后将这些常见词对合并，形成新的Token。这个过程反复进行，每次都会识别并合并下一个最常见的词对。词汇量会从单个字符增长到常见配对，并最终增长到更大的结构，如常见单词或词的一部分。 限制词汇表容量：词汇表是有限制的（例如，GPT-2 中的词汇量为 50,000 个）。一旦达到这个限制，处理过程就会停止，从而产生一个固定大小的词汇表，其中包括字符、常见配对和更复杂的Tokens。
分配Token IDs
编制词汇索引：为最终词汇表中的每个唯一Token分配一个唯一的数字索引或 ID。这种方法很简单，就像在列表或数组中建立索引一样。 Token ID 表示法：在 GPT-2 中，每段文本（如单词或单词的一部分）都用该词汇表中相应Token的 ID 表示。如果一个词不在词汇表中，它就会被分解成词汇表中的小的Tokens。 特殊Tokens：特殊Tokens（如代表文本开头和结尾或未知单词的Token）也会被分配唯一的 ID。
在这里，词汇表指的是模型可以识别和处理的所有独特的Token的集合。从本质上讲，它是在训练数据的帮助下，使用给定的tokenization 方法所创建的Tokens集合。
06
Token ID 是tokens的直接数字表示。事实上，它们并不能捕捉Tokens之间任何更深层次的关系或模式 标准的矢量化技术（如 TF-IDF）包括根据某些逻辑创建更复杂的数字表示。 嵌入(Embeddings)是Tokens的高级向量表示。它们试图捕捉Tokens之间最细微的差别、联系和语义。每个嵌入通常是神经网络计算的向量空间上的一系列实数。
为什么要这样做？
07
就像不同的tokenization 化方法一样，我们也有多种Token到Embedding转换的方法。下面是一些常用的方法：
Word2Vec ：一种神经网络模型
GloVe：一种无监督学习算法，可用于单词表示的全局向量
FastText：Word2Vec 的扩展
BERT： 来自Transformer的双向编码器表示法
ELMO: 一种深度双向 LSTM 模型。
我们暂且不用担心每种方法的内部工作原理。大家只需知道，我们可以使用它们来创建计算机可以理解的文本数字表示。
我们以 BERT 创建Embedding为例来讲解：
fromtransformersimportBertTokenizer,BertModelimporttorch#Loadpre-trainedmodeltokenizertokenizer=BertTokenizer.from_pretrained('bert-base-uncased')#Loadpre-trainedmodelmodel=BertModel.from_pretrained('bert-base-uncased')#Texttobetokenizedtext="It'sover9000!"#Encodetextinput_ids=tokenizer.encode(text,add_special_tokens=True)#OutputthetokenIDsprint("TokenIDs:",input_ids)#ConverttokenIDsbacktorawtokensandoutputthemraw_tokens=[tokenizer.decode([token_id])fortoken_idininput_ids]print("Rawtokens:",raw_tokens)#ConvertlistofIDstoatensorinput_ids_tensor=torch.tensor([input_ids])#Passtheinputthroughthemodelwithtorch.no_grad()
utputs=model(input_ids_tensor)#Extracttheembeddingsembeddings=outputs.last_hidden_state#Printtheembeddingsprint("Embeddings:",embeddings)输出如下：
TokenIDs:[101,2009,1005,1055,2058,7706,2692,999,102]Rawtokens:['[CLS]','it',"'",'s','over','900','##0','!','[SEP]']Embeddings:tensor([[[0.1116,0.0722,0.3173,...,-0.0635,0.2166,0.3236],[-0.4159,-0.5147,0.5690,...,-0.2577,0.5710,0.4439],[-0.4893,-0.8719,0.7343,...,-0.3001,0.6078,0.3938],...,[-0.2746,-0.6479,0.2702,...,-0.4827,0.1755,-0.3939],[0.0846,-0.3420,0.0216,...,0.6648,0.3375,-0.2893],[0.6566,0.2011,0.0142,...,0.0786,-0.5767,-0.4356]]])
观察上述代码，可以知道：
与之前使用 GPT-2 的示例一样，我们首先对文本进行tokenization 化。BERT模型采用wordpiece策略。它基本上是根据特定标准将单词分解成更小的单元。
我们获取Token ID，然后打印原始Tokens。请注意它与 GPT-2 的输出有何不同。
我们根据Token ID 创建一个张量，并将其作为输入传递给预先训练好的 BERT 模型。
我们从最后一个隐藏状态中提取最终输出。
如大家所见，Embeddings基本上就是数字数组。
08
Embeddings处理过程如此庞大和复杂，那么它到底意味着什么呢？
每个Token的嵌入都是一个高维向量。这使得该模型能够捕捉广泛的语言特征和细微差别，如单词的含义、语义信息及其与句子中其他单词的关系。
与简单的单词嵌入（如 Word2Vec）不同，BERT 的嵌入是根据上下文进行的。这意味着同一个词可以根据其上下文（其周围的词）有不同的嵌入。要捕捉这种上下文上的细微差别，需要丰富而复杂的嵌入。
在 BERT 等更复杂的模型中，我们不仅可以获得最终嵌入结果，还可以访问神经网络每一层的嵌入结果。每一层都能捕捉语言的不同方面，从而增加了张量的复杂性和大小。
这些嵌入信息可用作各种 NLP 任务的输入，如情感分析、问题解答和语言翻译。嵌入组合的丰富性使模型能够以高度的复杂性执行这些任务。
这些张量的复杂程度反映了模型是如何 "理解 "语言的。嵌入中的每个维度都可以代表模型在训练过程中学到的某些抽象语言特征。