# Token yang Dapat Dilatih

Metode Trainable Tokens menyediakan cara untuk menargetkan embedding token tertentu untuk fine-tuning tanpa harus melatih matriks embedding penuh atau menggunakan adapter pada matriks embedding. Metode ini didasarkan pada implementasi awal dari [di sini](https://github.com/huggingface/peft/pull/1541).

Metode ini hanya menargetkan token tertentu dan secara selektif melatih indeks token yang Anda tentukan. Akibatnya, RAM yang dibutuhkan akan lebih rendah dan memori disk juga jauh lebih rendah dibandingkan menyimpan matriks embedding hasil fine-tuning secara penuh.

Beberapa benchmark awal yang diperoleh dengan [skrip ini](https://github.com/huggingface/peft/blob/main/scripts/train_memory.py) menunjukkan bahwa untuk `gemma-2-2b` (yang memiliki matriks embedding yang cukup besar), Anda dapat menghemat sekitar 4 GiB VRAM dengan Trainable Tokens dibandingkan fine-tuning penuh pada matriks embedding. Meskipun LoRA akan menggunakan jumlah VRAM yang sebanding, metode ini juga mungkin menargetkan token yang tidak ingin Anda ubah. Perhatikan bahwa ini hanya indikasi, dan variasi ukuran matriks embedding dapat sedikit mengubah angka-angka tersebut.

Perhatikan bahwa metode ini tidak menambahkan token untuk Anda; Anda harus menambahkan token ke tokenizer sendiri dan mengubah ukuran matriks embedding model secara sesuai. Metode ini hanya akan melatih ulang embedding untuk token yang Anda tentukan. Metode ini juga dapat digunakan bersamaan dengan lapisan LoRA! Lihat [dokumentasi LoRA](lora#efficiently-train-tokens-alongside-lora).

> [!TIP]
> Menyimpan model dengan [save_pretrained()](/docs/peft/v0.22.0/id/package_reference/peft_model#peft.PeftModel.save_pretrained) atau mengambil state dict menggunakan [get_peft_model_state_dict()](/docs/peft/v0.22.0/id/package_reference/peft_model#peft.get_peft_model_state_dict) saat menambahkan token baru dapat menyimpan matriks embedding penuh, bukan hanya selisihnya, sebagai tindakan pencegahan karena matriks embedding telah diubah ukurannya. Untuk menghemat ruang, Anda dapat menonaktifkan perilaku ini dengan mengatur `save_embedding_layers=False` saat memanggil `save_pretrained`. Hal ini aman dilakukan selama Anda tidak memodifikasi matriks embedding melalui cara lain, karena perubahan semacam itu tidak akan dilacak oleh token yang dapat dilatih.

## Ikhtisar benchmark

<iframe src="https://peft-internal-testing-peft-method-comparison-embed.hf.space/?highlight[type]=TRAINABLE_TOKENS" frameborder="0" width="850" height="1000"
>

# API

## TrainableTokensConfig[[peft.TrainableTokensConfig]]

#### peft.TrainableTokensConfig[[peft.TrainableTokensConfig]]

```python
peft.TrainableTokensConfig(task_type: Optional[Union[str, TaskType]] = None, peft_type: Optional[Union[str, PeftType]] = None, auto_mapping: Optional[dict] = None, peft_version: Optional[str] = None, base_model_name_or_path: Optional[str] = None, revision: Optional[str] = None, inference_mode: bool = False, token_indices: list[int] = <factory>, target_modules: Optional[Union[list[str], str]] = None, init_weights: bool = True)
```

[Sumber](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/trainable_tokens/config.py#L25)

**Parameter:**

token_indices (`list[int]`) : Daftar bilangan bulat yang menandakan indeks token yang ingin dilatih. Untuk menemukan indeks sebuah token dengan tokenizer, Anda dapat melakukan tokenisasi pada string dan melihat `input_ids` yang dikembalikan. Semakin dekat jumlah indeks dengan total jumlah token, semakin tidak efisien metode ini menjadi.

target_modules (`Optional[Union[list[str], str]]`) : Daftar nama modul atau ekspresi regex dari nama modul yang akan diganti dengan `TrainableTokensLayer` kami. Jika tidak didefinisikan, sistem akan mencoba mendapatkan lapisan embedding input model jika model memiliki metode `get_input_embeddings` (model transformer biasanya memilikinya); jika itu gagal, nilai defaultnya adalah 'embed_tokens'. Contoh target lainnya adalah `embedding`, `encoder.embeddings`, atau `decoder.embeddings`.

init_weights (`bool`) : Secara default, bobot token baru diinisialisasi agar sama dengan embedding token yang bersangkutan. Hal ini membuat TrainableTokens menjadi no-op ketika tidak dilatih. Jika diset ke `False`, bobot akan berupa nilai acak. Jangan ubah pengaturan ini kecuali Anda tahu persis apa yang Anda lakukan.

Konfigurasi untuk metode `TrainableTokens`.

Memungkinkan pelatihan token baru (dan pelatihan ulang token yang sudah ada) tanpa melatih matriks embedding secara penuh. Dengan menandai beberapa token tertentu (diidentifikasi melalui indeksnya) sebagai dapat dilatih dan membiarkan sisanya tetap tidak berubah, metode ini dapat digunakan untuk menambahkan token baru atau mengubah embedding dari token yang sudah ada sambil menghemat memori. Baik penggunaan penyimpanan maupun memori kerja berkurang dibandingkan dengan melatih matriks embedding secara penuh.

Perhatikan bahwa pelatihan dengan FSDP/DeepSpeed mungkin belum sepenuhnya didukung.

## TrainableTokensModel[[peft.TrainableTokensModel]]

#### peft.TrainableTokensModel[[peft.TrainableTokensModel]]

```python
peft.TrainableTokensModel(model, peft_config: Union[PeftConfig, dict[str, PeftConfig]], adapter_name: str, low_cpu_mem_usage: bool = False, state_dict: Optional[dict[str, torch.Tensor]] = None)
```

[Sumber](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/trainable_tokens/model.py#L26)

