# P-tuning

    

Prompt tokensは入力シーケンスのどこにでも挿入でき、prompt encoderによって最適化されます（画像の出典）。

[P-tuning](https://hf.co/papers/2103.10385)は、自然言語理解（NLU）タスクおよびすべての言語モデル向けに設計されています。

論文の抄録は以下の通りです:

*従来のファインチューニングを用いたGPTは、自然言語理解（NLU）で優れた結果を得ることができませんが、本研究では、学習可能な連続プロンプト埋め込みを用いる新しい手法P-tuningにより、GPTがNLUタスクにおいて同規模のBERTと同等以上の性能を発揮できることを示します。知識探査（LAMA）ベンチマークにおいて、最良のGPTは、テスト時に追加のテキストを一切提供せずに、世界知識の64\%（P@1）を復元し、従来の最良結果を20ポイント以上上回りました。SuperGlueベンチマークでは、GPTは教師あり学習において、同規模のBERTと同等、場合によってはより優れた性能を達成しました。重要なのは、P-tuningが、プロンプトエンジニアリングの必要性を大幅に減らしつつ、少ショット設定と教師あり設定の両方でBERTの性能を向上させるという点です。その結果、P-tuningは、少ショットSuperGlueベンチマークにおいて、最先端のアプローチを上回る性能を示しました。*.

この手法では、プロンプトエンコーダーによって最適化される学習可能なプロンプト埋め込みを、より良いプロンプトを見つけるために入力に追加します。これにより、プロンプトを手動で設計する必要がなくなります。プロンプトトークンは入力シーケンスのどこに追加してもよく、p-tuningはパフォーマンス向上のためにアンカートークルも導入します。プロンプトパラメータの最適化には、プロンプトエンコーダー（双方向の長短期記憶ネットワーク、LSTM）が使用されます。プレフィックスチューニングとは異なり、

- プロンプトトークンは入力シーケンス内のどこにでも挿入でき、先頭部分に限定されるわけではありません。
- プロンプトのトークンは、モデルのすべての層に追加するのではなく、入力にのみ追加されます
- *anchor*トークンを導入することで、入力シーケンス内のコンポーネントの特徴を示すため、パフォーマンスが向上する可能性があります。

論文の結果は、P-tuningが手動でプロンプトを作成するよりも効率的であり、GPTのようなモデルがNLUタスクにおいてBERTのようなモデルと競合できることを示唆しています。

## 使用方法

タスクタイプ、追加して学習する仮想トークンの数、およびプロンプトパラメータの学習に使用するエンコーダーの隠れ層サイズを指定して、[PromptEncoderConfig](/docs/peft/v0.22.0/ja/package_reference/p_tuning#peft.PromptEncoderConfig) を作成します。

```py
from peft import PromptEncoderConfig, get_peft_model

peft_config = PromptEncoderConfig(task_type="CAUSAL_LM", num_virtual_tokens=20, encoder_hidden_size=128)
model = get_peft_model(model, peft_config)
model.print_healthcheck()
```

## ベンチマーク概要

<iframe src="https://peft-internal-testing-peft-method-comparison-embed.hf.space/?highlight[type]=P_TUNING" frameborder="0" width="850" height="1000"
>

# API

## PromptEncoderConfig[[peft.PromptEncoderConfig]]

#### peft.PromptEncoderConfig[[peft.PromptEncoderConfig]]

```python
peft.PromptEncoderConfig(task_type: Optional[Union[str, TaskType]] = None, peft_type: Optional[Union[str, PeftType]] = None, auto_mapping: Optional[dict] = None, peft_version: Optional[str] = None, base_model_name_or_path: Optional[str] = None, revision: Optional[str] = None, inference_mode: bool = False, num_virtual_tokens: int = None, token_dim: int = None, num_transformer_submodules: Optional[int] = None, num_attention_heads: Optional[int] = None, num_layers: Optional[int] = None, modules_to_save: Optional[list[str]] = None, encoder_reparameterization_type: str | peft.tuners.p_tuning.config.PromptEncoderReparameterizationType = <PromptEncoderReparameterizationType.MLP: 'MLP'>, encoder_hidden_size: int = None, encoder_num_layers: int = 2, encoder_dropout: float = 0.0)
```

[ソース](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/p_tuning/config.py#L29)

**パラメータ:**

encoder_reparameterization_type (Union[`PromptEncoderReparameterizationType`, `str`]) : 使用する再パラメータ化の種類。

encoder_hidden_size (`int`) : プロンプトエンコーダーの隠れ層サイズ。

encoder_num_layers (`int`) : プロンプトエンコーダーの層数。

encoder_dropout (`float`) : プロンプトエンコーダーのドロップアウト確率。

これは、[PromptEncoder](/docs/peft/v0.22.0/ja/package_reference/p_tuning#peft.PromptEncoder)の設定を保存するための設定クラスです。

## PromptEncoder[[peft.PromptEncoder]]

#### peft.PromptEncoder[[peft.PromptEncoder]]

```python
peft.PromptEncoder(config)
```

[ソース](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/p_tuning/model.py#L26)

**パラメータ:**

config ([PromptEncoderConfig](/docs/peft/v0.22.0/ja/package_reference/p_tuning#peft.PromptEncoderConfig)) : プロンプトエンコーダーの設定。

p-tuning用の仮想トークン埋め込みを生成するために使用されるプロンプトエンコーダーネットワーク。

例:

```py
>>> from peft import PromptEncoder, PromptEncoderConfig

>>> config = PromptEncoderConfig(
...     peft_type="P_TUNING",
...     task_type="SEQ_2_SEQ_LM",
...     num_virtual_tokens=20,
...     token_dim=768,
...     num_transformer_submodules=1,
...     num_attention_heads=12,
...     num_layers=12,
...     encoder_reparameterization_type="MLP",
...     encoder_hidden_size=768,
... )

>>> prompt_encoder = PromptEncoder(config)
```

**属性**:
- **embedding** (`torch.nn.Embedding`) -- プロンプトエンコーダーの埋め込み層です。
- **mlp_head** (`torch.nn.Sequential`) -- `inference_mode=False`の場合、プロンプトエンコーダーのMLPヘッドです。
- **lstm_head** (`torch.nn.LSTM`) -- `inference_mode=False` の場合のプロンプトエンコーダーの LSTM ヘッド
`encoder_reparameterization_type="LSTM"`.
- **token_dim** (`int`) -- ベースとなる Transformer モデルの隠れ埋め込み次元です。
- **input_size** (`int`) -- プロンプトエンコーダーの入力サイズ。
- **output_size** (`int`) -- プロンプトエンコーダーの出力サイズ。
- **hidden_size** (`int`) -- プロンプトエンコーダーの隠れ層サイズ。
- **total_virtual_tokens** (`int`):
プロンプトエンコーダー。
- **encoder_type** (Union[`PromptEncoderReparameterizationType`, `str`]): プロンプトエンコーダーのエンコーダータイプです。

入力形状: (`batch_size`, `total_virtual_tokens`)

出力の形状: (`batch_size`, `total_virtual_tokens`, `token_dim`)

