Transformers documentation

Обработчики событий

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Обработчики событий

TrainerCallback подключается к конкретным событиям обучения (начало эпохи, оценка, завершение обучения), чтобы изменять состояние обучения или управлять потоком выполнения. Используйте колбэки для записи метрик в трекеры экспериментов, такие как Trackio, для настройки моментов сохранения и оценки или для добавления другого пользовательского поведения. Можно объединять несколько колбэков, чтобы комбинировать их функции.

Обратные вызовы не могут изменять сам цикл обучения, например прямой проход. Чтобы изменить то, что вычисляет Trainer, вместо этого создайте подкласс и переопределите его методы.

На диаграмме ниже показаны все события, на которые может реагировать обратный вызов.

on_train_begin
  └─ for each epoch:
      on_epoch_begin
      └─ for each step:
          on_step_begin
          ├─ for each gradient accumulation substep:
          │   on_substep_end
          on_pre_optimizer_step   ← after gradient clipping, before optimizer.step()
          on_optimizer_step       ← after optimizer.step()
          on_step_end
          └─ (conditionally):
              on_log
              on_evaluate
              on_save
      on_epoch_end
on_train_end
on_predict / on_prediction_step
on_push_begin

Создание обратного вызова

Создайте подкласс TrainerCallback и переопределите один или несколько методов событий, показанных на диаграмме выше. Пример ниже демонстрирует три хука:

  • on_epoch_begin выводит текущую эпоху из TrainerState (актуальное значение) и скорость обучения из TrainingArguments (статическое значение).
  • on_step_end считывает текущую скорость обучения из lr_scheduler (передаётся через **kwargs) и устанавливает should_evaluate в TrainerControl (полный список объектов управления см. в TrainerControl), чтобы запустить оценку, когда скорость обучения опускается ниже порога.
  • on_train_end выводит лучшее значение метрики и шаг, на котором оно было достигнуто.
from transformers import TrainerCallback

class EpochLoggerCallback(TrainerCallback):
    def __init__(self, lr_eval_threshold=1e-5):
        self.lr_eval_threshold = lr_eval_threshold

    def on_epoch_begin(self, args, state, control, **kwargs):
        print(f"Starting epoch {int(state.epoch) + 1}/{state.num_train_epochs} "
              f"(lr={args.learning_rate})")

    def on_step_end(self, args, state, control, **kwargs):
        lr_scheduler = kwargs.get("lr_scheduler")
        if lr_scheduler is not None:
            current_lr = lr_scheduler.get_last_lr()[0]
            if current_lr < self.lr_eval_threshold:
                control.should_evaluate = True

    def on_train_end(self, args, state, control, **kwargs):
        print(f"Training complete! Best metric: {state.best_metric} at step {state.best_global_step}")

Зарегистрируйте callback в аргументе callbacks класса Trainer. Также можно передать несколько callback в виде списка.

trainer = Trainer(
    callbacks=[EpochLoggerCallback(lr_eval_threshold=1e-5)],
    ...,
)

Встроенные обратные вызовы

Transformers включает несколько встроенных колбэков, которые активны по умолчанию. Дополнительные интегрированные колбэки отправляют логи на такие платформы, как Trackio.

DefaultFlowCallback

DefaultFlowCallback управляет расписанием по умолчанию для журналирования, оценки и сохранения контрольных точек на основе значений logging_strategy, eval_strategy и save_strategy в TrainingArguments. В нужный шаг или эпоху он устанавливает соответствующие флаги control (should_log, should_evaluate, should_save). Также он устанавливает should_training_stop, когда global_step достигает max_steps.

Переопределение этого обратного вызова — основной способ настроить момент, когда выполняются ведение журнала, оценка или сохранение.

ProgressCallback и PrinterCallback

Trainer автоматически выбирает между этими двумя callback-ами на основе поля disable_tqdm в TrainingArguments.

  • По умолчанию используется ProgressCallback. Он отображает прогресс-бар tqdm во время обучения, а также отдельный бар во время оценки или предсказания, и выводит последние метрики при каждом событии on_log. При распределённом обучении он выполняется только в основном процессе, чтобы избежать дублирования вывода.
  • PrinterCallback используется, когда disable_tqdm=True. Он выводит словарь журнала в stdout при каждом событии on_log без строки прогресса.

Вы также можете заменить их вручную с помощью remove_callback() и add_callback().

from transformers import PrinterCallback

trainer = Trainer(...)
trainer.remove_callback(ProgressCallback)
trainer.add_callback(PrinterCallback)

EarlyStoppingCallback

EarlyStoppingCallback останавливает обучение, когда метрика оценки перестаёт улучшаться. После каждой оценки он проверяет, улучшилась ли метрика более чем на early_stopping_threshold. Если метрика не улучшалась в течение early_stopping_patience последовательных оценок, обучение останавливается.

Для EarlyStoppingCallback требуются два параметра TrainingArguments:

  • metric_for_best_model, метрика оценки, за которой нужно следить
  • eval_strategy, оценивать на "steps" или "epoch"
from transformers import EarlyStoppingCallback

trainer = Trainer(
    ...,
    callbacks=[EarlyStoppingCallback(early_stopping_patience=3, early_stopping_threshold=0.001)],
)

Дальнейшие шаги

Update on GitHub