Transformers documentation
Наследование методов Trainer
Наследование методов Trainer
Переопределяйте методы Trainer, чтобы изменить поведение обучения, не переписывая весь цикл. Переопределение изменяет training loop, например, прямой проход или вычисление функции потерь.
Прежде чем создавать подкласс, подумайте, нужно ли вам изменить то, что вычисляет Trainer, или когда и при каких условиях он выполняет действия. Для управления временем и условной логикой используйте Callback. Колбэки управляют тем, когда происходят события (логирование, оценка, ранняя остановка), а создание подкласса меняет то, что происходит (вычисление потерь, загрузка данных, оптимизация).
См. документацию API Trainer для полного списка методов, которые можно переопределить. Приватные методы (с префиксом
_), такие как_save_checkpointили_evaluate, также можно переопределить, но они могут измениться без предупреждения.
get_train_dataloader
Стандартный метод get_train_dataloader() загружает одну партию, обучается на ней, отбрасывает её и загружает следующую партию.
def get_train_dataloader(self):
return self._get_dataloader(
batch_size=self._train_batch_size,
...
)GRPO — это алгоритм обучения с подкреплением в режиме онлайн, который генерирует завершения перед обучением на них. Генерация завершений на каждом шаге обходится дорого, поскольку процесс является авто-регрессивным. Завершение из 512 токенов требует ~512 последовательных прямых проходов, в отличие от одного прямого прохода на шаге обучения. GRPOTrainer переопределяет get_train_dataloader(), чтобы батчить генерацию на нескольких шагах.
trl.GRPOTrainer.get_train_dataloader загружает батчи промптов для генерации сразу на несколько шагов обучения, умножая размер батча на аргумент steps_per_generation. Если train_batch_size=4 и steps_per_generation=8, dataloader формирует батчи из 32 элементов, что снижает стоимость генерации в 8 раз.
def get_train_dataloader(self):
dataloader_params = {
"batch_size": self._train_batch_size * self.args.steps_per_generation, # this is the only change
...
}Вычисление потерь
compute_loss() возвращает потерю кросс-энтропии, вычисленную моделью.
def compute_loss(self, model, inputs, return_outputs=False, num_items_in_batch=None):
...
outputs = model(**inputs)
...
loss = outputs["loss"] # get loss from model
return (loss, outputs) if return_outputs else lossDPO измеряет, насколько модель политики предпочитает выбранный ответ отвергнутому, относительно эталонной модели. DPOTrainer переопределяет compute_loss(), поскольку вычисление функции потерь отличается от стандартной кросс-энтропии по нескольким пунктам:
- модель никогда не видит метки; она лишь возвращает логиты, на основе которых DPO вычисляет логарифмические вероятности
- выбранные и отклонённые ответы конкатенируются
- референсная модель вычисляет собственные лог-вероятности
- потеря является функцией
π_chosen,π_rejected,π_ref_chosen,π_ref_rejected
Ни один из перечисленных вариантов не подходит для стандартного метода Trainer.compute_loss().
def compute_loss(
self,
model: PreTrainedModel | nn.Module,
inputs: dict[str, torch.Tensor | Any],
return_outputs=False,
num_items_in_batch=None,
) -> torch.Tensor | tuple[torch.Tensor, dict[str, float]]:
...
outputs = model(**inputs)
logits = outputs.logits
logps = get_logps(logits, inputs)
chosen_logps, rejected_logps = logps.chunk(2, dim=0) # batch is [chosen, rejected]
ref_logits = self.ref_model(**inputs).logits
ref_logps = get_logps(ref_logits, inputs)
ref_chosen_logps, ref_rejected_logps = ref_logps.chunk(2, dim=0) # batch is [chosen, rejected]
chosen_scores = chosen_logps - ref_chosen_logps
rejected_scores = rejected_logps - ref_rejected_logps
per_sequence_loss = -F.logsigmoid(self.beta * chosen_scores - rejected_scores)
loss = per_sequence_loss.mean()
return (loss, outputs) if return_outputs else lossДальнейшие шаги
- Для примеров из реальной практики посмотрите, как GRPOTrainer и DPOTrainer расширяют Trainer в TRL, а также как Axolotl строит на его основе собственные тренера.
- Обратитесь к руководству Callbacks, если вам нужно только настроить действия, выполняемые во время событий обучения, например, запись метрик в конце шага обучения.