# Tùy chỉnh bộ mã hóa

Tokenizers được tách rời khỏi bảng từ vựng đã học của chúng. Điều này cho phép bạn khởi tạo một tokenizer trống để huấn luyện hoặc tạo một tokenizer trực tiếp với bảng từ vựng của riêng bạn. Quy trình tokenization cơ bản vẫn giữ nguyên (normalizer, pre-tokenizer, thuật toán tokenization) nên bạn không cần phải tạo lại nó từ đầu.

Hướng dẫn này cho thấy cách huấn luyện và tạo một bộ phân từ (tokenizer) tùy chỉnh.

> [!AgentPrompt]
> Hỗ trợ người dùng chọn cách tạo hoặc điều chỉnh một tokenizer của Transformers. Trước tiên, hãy xác định xem họ có cần huấn luyện một từ vựng mới, định nghĩa một từ vựng tùy chỉnh, hay thay đổi quy trình phân tách token hay không. Sử dụng hướng dẫn này để chọn phương pháp phù hợp.
>
> 1. Hỏi về ngôn ngữ hoặc lĩnh vực, nguồn và kích thước tập dữ liệu, tokenizer khởi đầu, kích thước từ vựng mong muốn, mô hình dự kiến và mục đích sử dụng. Chỉ đặt câu hỏi bổ sung khi các chi tiết còn thiếu ảnh hưởng đến lựa chọn, và ghi rõ các giả định của bạn. 2. Chọn quy trình phù hợp. Để thêm token vào một tokenizer hiện có, hãy dùng `add_tokens` cho các token thông thường hoặc `add_special_tokens` khi chúng cần hành vi của token đặc biệt. Nếu bạn thêm token vào một tokenizer được ghép cặp với một mô hình, hãy điều chỉnh kích thước nhúng token của mô hình bằng `resize_token_embeddings(len(tokenizer))`. Đối với một từ vựng mới giữ nguyên quy trình tokenizer hiện có, hãy dùng `train_new_from_iterator` với các lô văn bản đại diện. Đối với từ vựng và quy tắc gộp được cung cấp, hãy kiểm tra xem tokenizer có hỗ trợ các đầu vào đó không. Chỉ dùng backend tùy chỉnh khi quy trình hiện có không thể diễn đạt hành vi yêu cầu. 3. Kiểm tra tính tương thích với mô hình dự kiến. Một từ vựng mới có thể làm thay đổi ID token, vì vậy đừng giả định rằng nó khớp với nhúng của mô hình được huấn luyện trước. Giải thích xem mô hình có cần nhúng tương ứng hay cần huấn luyện thêm không. 4. Xác thực kết quả. Lưu và tải lại tokenizer, sau đó kiểm tra mã hóa và giải mã trên văn bản đại diện của lĩnh vực và các token đặc biệt. Báo cáo các tệp đã tạo, tokenizer khởi đầu, kích thước từ vựng, kết quả kiểm thử và các câu hỏi về tính tương thích chưa được giải quyết.

## Huấn luyện bộ mã hóa

Một tokenizer có thể huấn luyện rỗng sẽ thay thế bảng từ vựng bằng một bảng từ vựng đích mới. Điều này hữu ích để thích ứng với một lĩnh vực mới như tài chính, một ngôn ngữ ít tài nguyên, hoặc mã nguồn.

Tạo một tokenizer rỗng và tải một tập dữ liệu.

```py
from datasets import load_dataset
from transformers import GemmaTokenizer

tokenizer = GemmaTokenizer()
dataset = load_dataset("Josephgflowers/Finance-Instruct-500k", split="train")
```

Sử dụng phương thức [TokenizersBackend.train_new_from_iterator()](/docs/transformers/v5.23.0/vi/main_classes/tokenizer#transformers.TokenizersBackend.train_new_from_iterator) để huấn luyện tokenizer. Phương thức này nhận một hàm generator để trả về các khối văn bản từ tập dữ liệu thay vì nạp toàn bộ vào bộ nhớ cùng lúc. Đối số `vocab_size` đặt kích thước từ vựng của tokenizer.

```py
def batch_iterator(batch_size=1000):
    for i in range(0, len(dataset), batch_size):
        yield dataset[i : i + batch_size]["assistant"]

trained_tokenizer = tokenizer.train_new_from_iterator(
    batch_iterator(),
    vocab_size=32000,
)
encoded = trained_tokenizer("The stock market rallied today.")
print(encoded["input_ids"])
[5866, 11503, 98, 5885, 8617, 13381, 30]
```

Thêm các token đặc biệt mới bằng đối số `new_special_tokens` hoặc sử dụng `special_tokens_map` để đổi tên các token đặc biệt cũ thành các token đặc biệt mới.

Lưu bộ phân tích từ mới cho tài chính bằng [save_pretrained()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.save_pretrained) hoặc lưu và tải lên Hub bằng [push_to_hub()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.utils.PushToHubMixin.push_to_hub). Thao tác này tạo ra tệp `tokenizer.json` chứa từ vựng mới được huấn luyện, các quy tắc gộp và cấu hình pipeline đầy đủ.

```py
trained_tokenizer.save_pretrained("./finance-gemma-tokenizer")
trained_tokenizer.push_to_hub("finance-gemma-tokenizer")
```

## Từ điển tùy chỉnh

Tokenizer rỗng hỗ trợ từ điển tùy chỉnh với các đối số `vocab` và `merges`.

- `vocab` là tập hợp đầy đủ các token mà một tokenizer biết và mỗi mục ánh xạ một token đến id đầu vào của nó.
- `merges` xác định cách thuật toán BPE kết hợp các token liền kề.

```py
from transformers import GemmaTokenizer

vocab={
    "<pad>": 0,
    "</s>": 1,
    "<s>": 2,
    "<unk>": 3,
    "<mask>": 4,
    "▁the": 5,
    "▁stock": 6,
    "▁market": 7,
    "▁": 8,
    "r": 9,
    "a": 10,
    "l": 11,
    "i": 12,
    "e": 13,
    "d": 14,
    "ra": 15,
    "li": 16,
    "lie": 17,
    "lied": 18,
    "ral": 19,
    "ralli": 20,
    "rallie": 21,
    "rallied": 22,
}
merges=[
    ("r", "a"),       # r + a → ra
    ("l", "i"),       # l + i → li
    ("li", "e"),      # li + e → lie
    ("lie", "d"),     # lie + d → lied
    ("ra", "l"),      # ra + l → ral
    ("ral", "li"),    # ral + li → ralli
    ("ralli", "e"),   # ralli + e → rallie
    ("rallie", "d"),  # rallie + d → rallied
]

tokenizer = GemmaTokenizer(vocab=vocab, merges=merges)
encoded = tokenizer("the stock market rallied")
print(encoded["input_ids"])
```

## Kế thừa TokenizersBackend

Tokenizers hỗ trợ bốn [backend](./fast_tokenizers#backends) khác nhau. Nhìn chung, bạn nên sử dụng [TokenizersBackend](/docs/transformers/v5.23.0/vi/main_classes/tokenizer#transformers.TokenizersBackend) để định nghĩa một tokenizer mới vì nó nhanh hơn.

> [!TIP]
> [PythonBackend](/docs/transformers/v5.23.0/vi/main_classes/tokenizer#transformers.PythonBackend) là một tokenizer thuần Python, không phụ thuộc vào các backend như Rust, SentencePiece hay mistral-common. Bạn chỉ nên sử dụng [PythonBackend](/docs/transformers/v5.23.0/vi/main_classes/tokenizer#transformers.PythonBackend) nếu bạn đang xây dựng một tokenizer rất chuyên biệt mà không thể biểu diễn bằng backend Rust.

1. Kế thừa [TokenizersBackend](/docs/transformers/v5.23.0/vi/main_classes/tokenizer#transformers.TokenizersBackend) với các thuộc tính lớp như phía đệm (padding side) và thuật toán phân từ (tokenization) cần sử dụng.
2. Định nghĩa pipeline tokenization trong `__init__`. Điều này bao gồm thuật toán tokenization cần sử dụng, cách chia nhỏ văn bản thô trước khi áp dụng thuật toán, và cách giải mã các token trở lại thành văn bản.

```py
from tokenizers import Tokenizer, decoders, pre_tokenizers
from tokenizers.models import BPE
from transformers import TokenizersBackend

class NewTokenizer(TokenizersBackend):
    padding_side = "left"
    model = BPE

    def __init__(
        self,
        vocab=None,
        merges=None,
        unk_token="<unk>",
        bos_token="<s>",
        eos_token="</s>",
        pad_token="<pad>",
    ):
        self._vocab = vocab or {
            str(unk_token): 0,
            str(bos_token): 1,
            str(eos_token): 2,
            str(pad_token): 3,
        }
        self._merges = merges or []

        self._tokenizer = Tokenizer(
            BPE(vocab=self._vocab, merges=self._merges, fuse_unk=True)
        )
        self._tokenizer.pre_tokenizer = pre_tokenizers.ByteLevel(add_prefix_space=False)
        self._tokenizer.decoder = decoders.ByteLevel()

        super().__init__(
            unk_token=unk_token,
            bos_token=bos_token,
            eos_token=eos_token,
            pad_token=pad_token,
        )
```

Huấn luyện hoặc lưu bộ phân từ mới trống.

```py
tokenizer = NewTokenizer()

# train on new corpus
corpus = ["The stock market rallied today.", "Bond yields fell sharply."]
trained_tokenizer = tokenizer.train_new_from_iterator(corpus, vocab_size=32000)
# save tokenizer
trained_tokenizer.save_pretrained("./new-tokenizer")
```

