Transformers documentation

分词算法

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.23.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

分词算法

Transformers 支持三种子词分词算法:Byte pair encoding (BPE)、Unigram 和 WordPiece。它们将文本拆分为介于单词和字符之间的单元,在保持词表紧凑的同时仍能捕获有意义的片段。常见单词会保持完整,作为单个 token;而罕见或未知的单词则会被分解为子词。

例如,annoyingly 可能会被拆分为 ["annoying", "ly"] 或 ["annoy", "ing", "ly"],具体取决于词表。子词拆分使模型能够利用已知的子词来表示未见过的单词。

子词分词对于土耳其语等语言尤其有用,在这些语言中,可以通过将子词串联起来来构成长而复杂的单词。

字节对编码(BPE)

字节对编码(BPE)是 Transformers 中最流行的分词算法,被 Llama、Gemma、Qwen2 等模型所采用。

  1. 预分词器(pre-tokenizer)根据空白字符或其他规则对文本进行切分,生成一组唯一的单词及其出现频率。
("hug", 10), ("pug", 5), ("pun", 12), ("bun", 4), ("hugs", 5)
  1. BPE 算法会从所有字符中创建一个基础词汇表,["b", "g", "h", "n", "p", "s", "u"]。
("h" "u" "g", 10), ("p" "u" "g", 5), ("p" "u" "n", 12), ("b" "u" "n", 4), ("h" "u" "g" "s", 5)
  1. BPE 从单个字符开始,并迭代地合并出现频率最高的相邻字符对。在 "hug"、"pug" 和 "hugs" 中,"u" 和 "g" 一起出现的次数最多,因此 BPE 将它们合并为 "ug" 并将其添加到词汇表中。
("h" "ug", 10), ("p" "ug", 5), ("p" "u" "n", 12), ("b" "u" "n", 4), ("h" "ug" "s", 5)
  1. 接下来最常见的字符对是 "u" 和 "n",它们出现在 "pun" 和 "bun" 中,因此合并为 "un"。
("h" "ug", 10), ("p" "ug", 5), ("p" "un", 12), ("b" "un", 4), ("h" "ug" "s", 5)
  1. 词表现在为 ["b", "g", "h", "n", "p", "s", "u", "ug", "un"]。BPE 会持续学习合并规则,直到达到目标词表大小,该大小等于基础词表大小加上合并次数。GPT 使用 BPE,其词表大小为 40,478(478 个基础 token + 40,000 次合并)。

任何不在基础词汇表中的字符都会映射到未知标记,例如 "<unk>"。在实际应用中,基础词汇表涵盖了训练期间出现的所有字符,因此未知标记很少见。

字节级 BPE

包含所有 Unicode 字符会使基础词表变得极其庞大。字节级 BPE 改用 256 个字节值作为基础词表,从而确保每个单词都能被分词,而无需使用 "<unk>" 标记。GPT-2 采用字节级 BPE,词表大小为 50,257(256 个字节标记 + 50,000 个合并 + 特殊文本结束标记)。

Unigram

Unigram 是 Transformers 中第二受欢迎的分词算法,被 T5、BigBird、Pegasus 等模型使用。

  1. Unigram 从一个较大的候选子词集合开始,每个候选子词都会根据其出现频率获得一个概率分数。
("hug", 10), ("pug", 5), ("pun", 12), ("bun", 4), ("hugs", 5)
["b", "g", "h", "n", "p", "s", "u", "hu", "ug", "un", "pu", "bu", "gs", "hug", "pug", "pun", "bun", "ugs", "hugs"]
  1. Unigram 衡量当前词表在每一步中对训练数据的分词效果。

  2. 对于每个 token,Unigram 会衡量移除该 token 后整体损失会增加多少。例如,移除 "pu" 对损失的影响微乎其微,因为 "pug" 和 "pun" 仍然可以被分词为 ["p", "ug"] 和 ["p", "un"]。

    但移除 "ug" 会显著增加损失,因为 "hug"、"pug" 和 "hugs" 都依赖于它。

  3. Unigram 会移除损失增加量最低的 token,通常是最低的 10-20%。基础字符始终保留,因此任何单词都可以被分词。像 "bu"、"pu"、"gs"、"pug" 和 "bun" 这样的 token 会被移除,因为它们对整体似然度的贡献最小。

["b", "g", "h", "n", "p", "s", "u", "hu", "ug", "un", "hug", "pun", "ugs", "hugs"]
  1. 步骤 2-4 会重复执行,直到词表达到目标大小。

在推理阶段,Unigram 可以通过多种方式对单词进行分词。"hugs" 可能被分词为 ["hug", "s"]、["h", "ug", "s"] 或 ["h", "u", "g", "s"]。Unigram 会选择概率最高的分词方式。与基于合并规则、具有确定性的 BPE 不同,Unigram 是一种概率模型,在训练过程中可以采样出不同的分词方式。

SentencePiece

SentencePiece 是一个分词库,它直接在原始文本上应用 BPE 或 Unigram。标准的 BPE 和 Unigram 假设单词之间以空格分隔,但这对于不使用空格的中文和日文等语言并不适用。

  1. SentencePiece 将输入文本视为原始的字节或字符流,并将空格字符(表示为 "▁")包含在词汇表中。
("▁hug", 10), ("▁pug", 5), ("▁pun", 12), ("▁bun", 4), ("▁hugs", 5)
  1. SentencePiece 随后对文本应用 BPE 或 Unigram。

在解码时,SentencePiece 会将所有 token 拼接起来,并将 "▁" 替换为空格。

WordPiece

WordPiece 是 DistilBERT 和 Electra 等 BERT 系列模型的词元化算法。

它与 BPE 类似,都是自底向上迭代地合并词对,但区别在于选择词对的方式。

("h" "u" "g", 10), ("p" "u" "g", 5), ("p" "u" "n", 12), ("b" "u" "n", 4), ("h" "u" "g" "s", 5)

WordPiece 会合并那些能最大化训练数据似然性的词元对。

score("u", "g") = frequency("ug") / (frequency("u") × frequency("g"))
pair频率score
"u" + "g"2020 / (36 × 20) = 0.028
"u" + "n"1616 / (36 × 16) = 0.028
"h" + "u"1515 / (15 × 36) = 0.028
"g" + "s"55 / (20 × 5) = 0.050

得分倾向于合并 "g" 和 "s",当组合 token 的出现频率高于根据单个 token 频率所预期的频率时。BPE 简单地合并出现次数最多的那个词对。WordPiece 则衡量每次合并的 信息量。两个 token 如果共同出现的频率远高于随机概率的预测,则会优先被合并。

词级分词

词级分词通过空格、标点或特定语言的规则将文本拆分为词元。

["Do", "n't", "you", "love", "🤗", "Transformers", "?", "We", "sure", "do", "."]

由于每个独特的词都需要一个专属的 token,包括所有变体("love"、"loving"、"loved"、"lovingly"),词表大小会变得极其庞大。由此产生的嵌入矩阵非常巨大,从而增加了内存和计算开销。词表中不存在的词会被映射到 "<unk>" token,因此模型无法处理新词。

字符级分词

字符级分词将文本拆分为单个字符。

["D", "o", "n", "'", "t", "y", "o", "u", "l", "o", "v", "e"]

词表较小,且每个字符都能被表示,因此不存在 "<unk>" 问题。但序列会变得更长。像 "l" 这样的字符所承载的语义远少于 "love",因此性能会受到影响。

资源

  • LLM 课程的第 6 章将教你如何从零开始训练一个分词器,并讲解 BPE、Unigram 和 WordPiece 算法之间的区别。
Update on GitHub