オンラインポリシーの目的関数を制御するパラメータ

• beta (float、任意、デフォルトは 0.0) — KL 係数です。0.0（デフォルト）の場合、参照モデルは読み込まれず、メモリ使用量が削減され、トレーニング速度が向上します。DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning では、値として 0.001 が使用されています。
• epsilon (float, 任意、デフォルトは 0.2) — クリッピング用のエプシロン値。
• epsilon_high (float, 省略可能) — クリッピング用の上限エプシロン値です。指定しない場合、引数 epsilon で指定された下限値と同じ値がデフォルトとして使用されます。DAPO の論文では 0.28 が推奨されています。
• importance_sampling_level (str, 任意、デフォルトは "token") — 重要度サンプリングの比率を 'token' レベルで計算するか、'sequence' レベルで計算するかを制御します。'token' は、トークンごとの生の対数尤度比を保持します（トークンごとに1つの重み）。'sequence' は、有効なトークン全体で対数尤度比を平均化し、シーケンスごとに1つの比率を生成します。GSPO の論文では、シーケンスレベルのサンプリングは、より安定した学習と、シーケンスレベルの報酬とのより良い整合性を生み出すことが示されています。
• reward_weights (list[float], 任意) — 各報酬関数に対する重み。報酬関数の数と一致する必要があります。None の場合、すべての報酬が重み 1.0 で等しく重み付けされます。
• scale_rewards (str または bool、省略可能、デフォルトは "group") — 報酬のスケーリング戦略を指定します。サポートされる値は以下の通りです: True または 'group' (デフォルト): 各グループ内の標準偏差によって報酬がスケーリングされ、グループ内の分散が 1 になるように保証されます。 'batch': PPO Lite 論文で推奨されているように、バッチ全体の標準偏差によって報酬がスケーリングされます。 False または 'none': スケーリングは適用されません。Dr. GRPO 論文では、標準偏差によるスケーリングは問題レベルの難易度バイアスを導入するため、報酬のスケーリングを行わないことを推奨しています。

SDPO損失を制御するパラメータ

• distillation_weight (float、任意、デフォルトは 1.0) — ポリシー目標と自己蒸留目標の間の凸結合の重みです。損失は (1 - distillation_weight) * policy_loss + distillation_weight * distillation_loss として計算されます。[0, 1] の範囲である必要があります。1.0 (デフォルト)では純粋に自己蒸留で学習し、0.0 では標準的な GRPO スタイルのポリシー勾配にフォールバックし、中間の値では両方をブレンドします。
• distillation_alpha (float、任意、デフォルトは 1.0) — 発散の補間係数です。サンプリングトークン SDPO には、公式の reverse-KL 設定 distillation_alpha=1.0 が必要です。
• distillation_mode (Literal["sampled_token", "full_logits", "topk_logits"]、任意、デフォルトは"sampled_token") — 蒸留の目的モード。sampled_tokenはデフォルトのSDPOモードであり、distillation_alpha=1.0が必要です。
• distillation_topk (int, 任意) — logit レベルの SDPO における Top-k 近似。distillation_mode=topk_logits の場合にのみ設定し、それ以外の場合は設定しないでください。
• distillation_is_clip (float、任意、デフォルトは2.0) — 自己蒸留における重要度サンプリングのクリッピング係数です。Noneを指定すると、クリッピングが無効になります。
• distillation_add_tail (bool、任意、デフォルトはFalse) — トップk以外の確率質量に対してテールバケットを追加するかどうかを指定します。

教師モデルを制御するパラメータ

• teacher_model_kind (str、任意、デフォルトは "ema") — セマンティックな教師モデルの選択です。base は初期の学生モデルを使用し、live は現在の学生モデルを使用し、ema は指数移動平均を用いた教師モデルを使用します。
• teacher_update_rate (float, 任意, デフォルトは 0.05) — EMA教師同期に使用される教師更新率です。
• teacher_sync_steps (int、任意、デフォルトは1) — EMA教師モデルを同期する頻度です。

リプロンプトを制御するパラメータ

• use_successful_as_teacher (bool、省略可、デフォルトはTrue) — 成功したロールアウトを自己蒸留の暗黙的なフィードバックとして使用します。
• success_reward_threshold (float、任意、デフォルトは1.0) — ロールアウトが成功したデモとみなされるための最小報酬。
• dont_reprompt_on_self_success (bool、任意、デフォルトはTrue) — モデルが正しい応答を生成した場合に、リプロンプトをスキップします。
• max_reprompt_len (int、任意、デフォルトは10240) — 自己蒸留におけるリプロンプトの最大長。
• reprompt_template (str、任意、デフォルトは "{prompt}{solution}{feedback}\n\nCorrectly solve the original question.\n") — 成功したデモを用いて教師モデルに再プロンプトを送るためのテンプレート。
• solution_template (str、任意、デフォルトは"\nCorrect solution -- \n\n{successful_previous_attempt}\n\n"): 成功したデモのテキストを整形するためのテンプレート。
• feedback_template (str、任意、デフォルトは"\nThe following is feedback from your unsuccessful earlier attempt -- \n\n{feedback_raw}\n\n"): 再プロンプト用の環境フィードバックを整形するためのテンプレート。
• include_environment_feedback (bool、省略可能、デフォルトは False) — 利用可能な場合、教師の再プロンプトに環境フィードバックを含めるかどうかを指定します。
• environment_feedback_only_without_solution (bool、省略可能、デフォルトはFalse) — 成功したソリューションが利用できない場合にのみフィードバックを使用するかどうか。
• remove_thinking_from_demonstration (bool、任意、デフォルトはFalse) — デモテキストから<think>…</think>ブロックを削除するかどうか。

診断を制御するパラメータ

• diagnostics_warning_interval (int、任意、デフォルトは10) — 連続する N ステップの間に、トレーナーの診断情報を繰り返し出力します。0 に設定すると無効になります。
• diagnostics_flat_tolerance (float、任意、デフォルトは1e-8) — 報酬の分散やリプロンプトの活動が実質的にゼロかどうかを判定するために使用される許容誤差。

モデルを制御するパラメータ

• model_init_kwargs (dict[str, Any]、省略可) — SDPOTrainerのmodel引数が文字列として指定された場合、transformers.AutoModelForCausalLM.from_pretrainedに渡すキーワード引数です。処理クラスの読み込み時にもrevisionの値が使用されます。
• trust_remote_code (bool, optional, defaults to False) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained. Also applied to reward-model and reward-tokenizer loads.
• disable_dropout (bool、任意、デフォルトはTrue) — モデル内の dropout を無効にするかどうか。参照モデルを用いた学習時に有用であり、同じ入力に対してモデルが異なる logprobs を生成することを防ぎます。

データ前処理を制御するパラメータ

• remove_unused_columns (bool、任意、デフォルトは False) — データセットから ‘prompt’ 列のみを残すかどうかを指定します。 ‘prompts’ と ‘completions’ 以外の列を必要とするカスタム報酬関数を使用する場合は、この値を False に設定してください。
• max_prompt_length (int、任意、デフォルトは512) — プロンプトの最大長です。これを超える長いプロンプトは、左側から切り詰められます。
• shuffle_dataset (bool、任意、デフォルトはTrue) — 学習データセットをシャッフルするかどうか。

生成を制御するパラメータ

• num_generations (int、任意、デフォルトは8) — サンプリングする世代数。実効バッチサイズ (num_processes per_device_batch_size gradient_accumulation_steps) は、この値で割り切れる必要があります。
• num_generations_eval (int, 任意) — 評価時にサンプリングする生成回数です。評価時に生成回数を減らすことで計算量を節約できます。None の場合、num_generations の値が使用されます。
• max_completion_length (int、任意、デフォルトは256) — 生成される補完の最大長。
• temperature (float、任意、デフォルトは1.0) — サンプリング用の温度です。温度が高いほど、補完はランダムになります。
• top_p (float、任意、デフォルトは1.0) — 考慮する上位トークンの累積確率を制御する浮動小数点数です。(0, 1] の範囲で指定する必要があります。すべてのトークンを考慮するには 1.0 を設定してください。
• top_k (int、任意、デフォルトは0) — トップkフィルタリングのために保持する、確率の高い語彙トークンの数。0の場合、トップkフィルタリングは無効になり、すべてのトークンが対象となります。
• min_p (float, 任意) — トークンの最小確率です。最も確率の高いトークンの確率でスケーリングされます。0.0から1.0の間の値である必要があります。一般的な値は0.01から0.2の範囲です。
• repetition_penalty (float、任意、デフォルト値は1.0) — プロンプトとこれまでに生成されたテキストにトークンが出現しているかどうかに基づいて、新しいトークンをペナルティする浮動小数点数です。 値が 1.0 より大きい場合、モデルは新しいトークンを使用するよう促され、値が 1.0 より小さい場合、モデルはトークンを繰り返すよう促されます。
• cache_implementation (str, 任意) — use_vllm が False に設定されている場合、より高速な生成のためのキャッシュメソッドの実装。
• generation_kwargs (dict[str, Any], 省略可) — 補完のサンプリング時に、GenerationConfig（transformers を使用する場合）または SamplingParams（vLLM を使用する場合）に渡す追加のキーワード引数です。suppress_tokens や num_beams などを設定することで、生成の動作をさらにカスタマイズできます。他の生成パラメータ（min_p や top_p など）と競合するキーが含まれている場合、それらが上書きされます。
• chat_template_kwargs (dict[str, Any], 省略可) — 補完を生成する際にapply_chat_template関数に渡す追加のキーワード引数。
• ds3_gather_for_generation (bool、任意、デフォルトは True) — この設定は DeepSpeed ZeRO-3 に適用されます。有効にすると、生成のためにポリシーモデルの重みが集約され、生成速度が向上します。ただし、このオプションを無効にすると、1 つの GPU の VRAM 容量を超えるモデルのトレーニングが可能になりますが、その代わりとして生成速度は低下します。このオプションを無効にすると、vLLM による生成と互換性がありません。

vLLM による生成加速を制御するパラメータ

• use_vllm (bool、省略可、デフォルトは False) — 補完の生成に vLLM を使用するかどうかを指定します。True に設定すると、デフォルトの model.generate() の代わりに、vLLM を生成に使用します。vllm のインストールが必要です。
• use_teacher_server (bool、省略可、デフォルトはFalse) — ローカルでの教師モデルのフォワードではなく、実行中の vLLM 生成サーバーから教師の logprobs を計算します。 teacher_model_kind='live'、use_vllm=True、vllm_mode='server'、 distillation_weight=1.0（純粋な蒸留）、およびdistillation_modeが {‘sampled_token’, ‘topk_logits’} のいずれかである場合にのみサポートされます （サーバーは教師の top-k logprobs を返し、完全な語彙は返しませんが、topk_logits は教師自身の top-k サポート上で蒸留を行います）。
• vllm_mode (str, 省略可、デフォルトは "colocate") — use_vllm が True に設定されている場合の vLLM 統合で使用するモードです。'server' または 'colocate' のいずれかである必要があります。'server': トレーナーが生成リクエストを別の vLLM サーバーに送信します。 vLLM サーバーが実行されていることを確認してください (vllm serve で起動)。 'colocate': vLLM が同じプロセス内で実行され、 トレーニング用の GPU を共有します。これにより別のサーバーの必要性はなくなります が、トレーニングとの間でリソースの競合が発生する可能性があります。
• vllm_model_impl (str、任意、デフォルトは"vllm") — vLLM に使用するモデル実装です。transformers または vllm のいずれかである必要があります。transformers: モデル実装に transformers バックエンドを使用します。vllm: モデル実装に vllm ライブラリを使用します。
• vllm_enable_sleep_mode (bool、任意、デフォルトはFalse) — オプティマイザーステップ中に重み/キャッシュをオフロードするために、vLLM のスリープモードを有効にします。GPU メモリ使用率を低く保ちますが、エンジンの復帰時にホストとデバイス間の転送遅延が発生します。
• vllm_server_base_url (str, 省略可) — vLLM サーバーのベース URL (例: ‘http://localhost:8000’)。指定された場合、vllm_server_host および vllm_server_port は無視されます。
• vllm_server_host (str、任意、デフォルトは"0.0.0.0") — 接続する vLLM サーバーのホストです。vllm_server_base_url が指定されている場合は無視されます。
• vllm_server_port (int, 任意, デフォルトは 8000) — 接続する vLLM サーバーのポートです。vllm_server_base_url が指定されている場合は無視されます。
• vllm_group_port (int, 任意、デフォルトは 51216) — 重み更新グループ用のポート番号です。vLLM サーバーとの通信に使用されます。ポートが占有されていない限り、変更する必要はありません。
• vllm_server_timeout (float, 省略可能、デフォルト値は 240.0) — vLLM サーバーの起動を待機する合計タイムアウト時間（秒）です。タイムアウト後にサーバーが起動していない場合、ConnectionError が発生します。
• vllm_tensor_parallel_size (int、任意、デフォルトは 1) — vLLM のテンソル並列サイズを制御します。この設定は、vllm_mode が 'colocate' に設定されている場合にのみ適用されます。vllm_mode='server' を使用している場合は、--vllm_tensor_parallel_size フラグを指定して vLLM サーバーを起動する際に、このパラメータを別途渡す必要があります。
• vllm_gpu_memory_utilization (float、任意、デフォルト値は 0.3) — vLLM の GPU メモリ使用率を制御します。この設定は、vllm_mode が 'colocate' に設定されている場合にのみ適用されます。vllm_mode='server' を使用している場合は、--vllm_gpu_memory_utilization フラグを指定して vLLM サーバーを起動する際に、このパラメータを別途渡す必要があります。
• vllm_max_model_length (int, 省略可) — vLLM のコンテキストウィンドウです。データセット内の最大プロンプト長に max_completion_length を加えた値以上を設定してください。省略した場合、モデルの設定から推論されます。

学習を制御するパラメータ

• loss_type (str、任意、デフォルトは "dapo") — 使用する損失関数の形式を指定します。サポートされる値は ‘grpo’、‘bnpo’、‘dr_grpo’、および ‘dapo’ です。‘grpo’: シーケンス長で正規化することにより、トークンレベルの損失を集約します。長さバイアスがあるため推奨されません。このアプローチは、正のアドバンテージを持つ短い補完や、負のアドバンテージを持つ長い補完を優先する傾向があります。‘dapo’ (デフォルト): グローバルに蓄積されたバッチ内のアクティブなトークン数で正規化することにより、トークンレベルの損失を集約します。この手法は、長さバイアスを排除するために DAPO 論文で導入されました。 ‘dr_grpo’: グローバルな定数で正規化することにより、トークンレベルの損失を集約します。この手法は、長さバイアスを排除するために Dr. GRPO 論文で導入されました。この定数の値は max_completion_length に対応します。‘bnpo’: ローカルバッチ内のアクティブなトークン数で正規化することにより、トークンレベルの損失を集約します。正規化はローカルバッチのみに対して行われるため、実効バッチサイズが一定であっても、ローカルバッチサイズによって結果がわずかに異なる場合があります。per_device_train_batch_size==1 を使用する場合、損失は GRPO 損失と同等になります。
• num_iterations (int、任意、デフォルトは1) — バッチあたりの反復回数（アルゴリズムでは μ と表記されます）。
• generation_batch_size (int, 省略可) — 生成に使用するバッチサイズ。None の場合、実効的な学習バッチサイズ、すなわち per_device_train_batch_size * num_processes * steps_per_generation がデフォルトとして使用されます。
• steps_per_generation (int, 任意) — 1回の生成あたりのステップ数。Noneの場合、gradient_accumulation_stepsがデフォルト値として使用されます。
• mask_truncated_completions (bool、任意、デフォルトはFalse) — 有効にすると、切り詰められた補完は損失計算から除外され、誤ってペナルティを課されることによる学習中のノイズの導入を防ぎます。DAPO論文によると、これは学習の安定性にとって良いプラクティスです。