TRL documentation

Интерфейсы командной строки (CLI)

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Интерфейсы командной строки (CLI)

TRL предоставляет мощный интерфейс командной строки (CLI) для дообучения больших языковых моделей (LLM) с использованием таких методов, как Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO) и других. CLI избавляет от необходимости писать шаблонный код, позволяя быстро и воспроизводимо запускать задачи обучения.

Команды

В настоящее время поддерживаются следующие команды:

Команды обучения

  • trl distillation: дистилляция учительской модели в ученическую с использованием on-policy дистилляции знаний
  • trl dpo: дообучение LLM с помощью DPO
  • trl grpo: дообучение LLM с помощью GRPO
  • trl kto: дообучение LLM с помощью KTO
  • trl reward: обучение модели вознаграждения
  • trl rloo: дообучение LLM с помощью RLOO
  • trl sft: дообучение LLM с помощью SFT

Другие команды

  • trl env: получить системную информацию
  • trl vllm-serve: запуск модели с помощью vLLM (устарело, используйте vllm serve напрямую, см. интеграция с vLLM)

Допобучение с помощью TRL CLI

Базовое использование

Вы можете запустить обучение непосредственно из командной строки, указав необходимые аргументы, такие как модель и набор данных:

SFT
DPO
Награда
GRPO
RLOO
KTO
trl sft \
  --model_name_or_path Qwen/Qwen2.5-0.5B \
  --dataset_name stanfordnlp/imdb

Использование файлов конфигурации

Чтобы ваши команды CLI оставались чистыми и воспроизводимыми, вы можете определить все аргументы обучения в конфигурационном файле YAML:

SFT
DPO
Награда
GRPO
RLOO
KTO
# sft_config.yaml
model_name_or_path: Qwen/Qwen2.5-0.5B
dataset_name: stanfordnlp/imdb

Запустите с помощью:

trl sft --config sft_config.yaml

Масштабирование с помощью torchrun

CLI TRL запускает обучение с помощью torchrun, один процесс на каждую доступную GPU. Любой аргумент torchrun можно передать напрямую в trl, например --nproc_per_node или --nnodes.

SFT
DPO
Награда
GRPO
RLOO
KTO
trl sft \
  --model_name_or_path Qwen/Qwen2.5-0.5B \
  --dataset_name stanfordnlp/imdb \
  --nproc_per_node 4

или с использованием файла конфигурации:

# sft_config.yaml
model_name_or_path: Qwen/Qwen2.5-0.5B
dataset_name: stanfordnlp/imdb
nproc_per_node: 4

Запустите с помощью:

trl sft --config sft_config.yaml

DeepSpeed и FSDP

DeepSpeed ZeRO и FSDP настраиваются через аргументы обучения, как и для любого Trainer: --deepspeed принимает конфигурацию DeepSpeed в формате JSON, а --fsdp включает FSDP, который настраивается с помощью --fsdp_config. Использование только --fsdp в командной строке требует transformers версии 5.10 или новее; в более старых версиях необходимо указать fsdp: true в файле конфигурации. Готовые конфигурации находятся в examples/deepspeed_configs и examples/fsdp_configs. Если вы установили TRL с помощью pip, сохраните эту конфигурацию ZeRO-2 как zero2.json и передайте --deepspeed zero2.json:

{
  "bf16": {"enabled": "auto"},
  "zero_optimization": {
    "stage": 2,
    "offload_optimizer": {"device": "none"}
  },
  "gradient_accumulation_steps": "auto",
  "gradient_clipping": "auto",
  "train_batch_size": "auto",
  "train_micro_batch_size_per_gpu": "auto"
}
SFT
DPO
Награда
GRPO
RLOO
KTO
trl sft \
  --model_name_or_path Qwen/Qwen2.5-0.5B \
  --dataset_name stanfordnlp/imdb \
  --deepspeed examples/deepspeed_configs/zero2.json  # or --fsdp

или с использованием файла конфигурации:

# sft_config.yaml
model_name_or_path: Qwen/Qwen2.5-0.5B
dataset_name: stanfordnlp/imdb
deepspeed: examples/deepspeed_configs/zero2.json  # or fsdp: true

Запустите с помощью:

trl sft --config sft_config.yaml

До версии TRL v2.0.0 библиотека trl по-прежнему запускается через accelerate launch, если ей передаются аргументы, известные только accelerate launch, например --num_processes или --accelerate_config, либо если существует файл конфигурации по умолчанию accelerate config. Этот путь устарел и вызывает предупреждение.

Использование смесей наборов данных

С помощью смесей датасетов можно объединить несколько наборов данных в единый тренировочный датасет. Это полезно при обучении на разнообразных источниках данных или когда требуется смешивать разные типы данных.

SFT
DPO
Награда
GRPO
RLOO
KTO
# sft_config.yaml
model_name_or_path: Qwen/Qwen2.5-0.5B
datasets:
  - path: stanfordnlp/imdb
  - path: roneneldan/TinyStories

Запустите с помощью:

trl sft --config sft_config.yaml

Чтобы просмотреть все доступные ключевые слова для определения смесей наборов данных, обратитесь к классам scripts.utils.DatasetConfig и DatasetMixtureConfig.

Получение системной информации

Вы можете получить системную информацию, выполнив следующую команду:

trl env

Это выведет системную информацию, включая сведения о GPU, версию CUDA, версию PyTorch, версию transformers, версию TRL и все установленные необязательные зависимости.

Copy-paste the following information when reporting an issue:

- Platform: Linux-5.15.0-1048-aws-x86_64-with-glibc2.31
- Python version: 3.11.9
- PyTorch version: 2.4.1
- accelerator(s): NVIDIA H100 80GB HBM3
- Transformers version: 4.45.0.dev0
- Accelerate version: 0.34.2
- Accelerate config: 
  - compute_environment: LOCAL_MACHINE
  - distributed_type: DEEPSPEED
  - mixed_precision: no
  - use_cpu: False
  - debug: False
  - num_processes: 4
  - machine_rank: 0
  - num_machines: 1
  - rdzv_backend: static
  - same_network: True
  - main_training_function: main
  - enable_cpu_affinity: False
  - deepspeed_config: {'gradient_accumulation_steps': 4, 'offload_optimizer_device': 'none', 'offload_param_device': 'none', 'zero3_init_flag': False, 'zero_stage': 2}
  - downcast_bf16: no
  - tpu_use_cluster: False
  - tpu_use_sudo: False
  - tpu_env: []
- Datasets version: 3.0.0
- HF Hub version: 0.24.7
- TRL version: 0.12.0.dev0+acb4d70
- bitsandbytes version: 0.41.1
- DeepSpeed version: 0.15.1
- Diffusers version: 0.30.3
- Liger-Kernel version: 0.3.0
- LLM-Blender version: 0.0.2
- OpenAI version: 1.46.0
- PEFT version: 0.12.0
- vLLM version: not installed

Эта информация требуется при отправке отчета об ошибке.

Update on GitHub