Transformers documentation
Поиск гиперпараметров
Поиск гиперпараметров
Гиперпараметры, такие как скорость обучения, размер батча и количество эпох, существенно влияют на результаты обучения. Trainer.hyperparameter_search() находит оптимальную комбинацию, запуская несколько испытаний, каждое из которых использует различные значения, и возвращает лучший результат.
Каждая итерация инициализирует новую модель с помощью model_init, выбирает новые гиперпараметры, выполняет полный цикл обучения и передаёт значение целевой функции в поисковый бэкенд. Бэкенд использует каждое значение целевой функции для выбора параметров следующей итерации. После завершения всех итераций лучшие гиперпараметры возвращаются в объекте ~trainer.utils.BestRun.
Инициализация модели
Начинайте каждый эксперимент с новой модели, чтобы избежать влияния состояния предыдущих запусков. model_init вызывается в начале каждого эксперимента и возвращает новый экземпляр модели, поэтому каждый эксперимент начинается с одних и тех же начальных весов.
from transformers import AutoModelForCausalLM
def model_init(trial):
return AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B")
trainer = Trainer(
model_init=model_init,
args=args,
train_dataset=train_dataset,
eval_dataset=eval_dataset,
)Не передавайте одновременно model= и model_init=, иначе Trainer вызовет ошибку.
Определение пространства поиска
Создайте функцию, которая определяет пространство поиска. Формат зависит от бэкенда. Если вы не определите функцию hp_space, поиск по умолчанию охватывает learning_rate, num_train_epochs и per_device_train_batch_size.
# install one of these hyperparam search backends
pip install optuna
pip install wandb
pip install ray[tune]Optuna — это легковесный фреймворк для оптимизации гиперпараметров.
def hp_space(trial):
return {
"learning_rate": trial.suggest_float("learning_rate", 1e-6, 1e-4, log=True),
"per_device_train_batch_size": trial.suggest_categorical("per_device_train_batch_size", [16, 32, 64, 128]),
}Ray Tune — масштабируемая библиотека для настройки гиперпараметров, которая также позволяет распределять эксперименты между несколькими машинами.
from ray import tune
def hp_space(trial):
return {
"learning_rate": tune.loguniform(1e-6, 1e-4),
"per_device_train_batch_size": tune.choice([16, 32, 64, 128]),
}Weights & Biases — это платформа для отслеживания экспериментов со встроенным поиском гиперпараметров. Она поддерживает стратегии байесовского, случайного и сеточного поиска.
def hp_space(trial):
return {
"method": "random",
"metric": {"name": "objective", "goal": "minimize"},
"parameters": {
"learning_rate": {"distribution": "uniform", "min": 1e-6, "max": 1e-4},
"per_device_train_batch_size": {"values": [16, 32, 64, 128]},
},
}Выполнить поиск
Укажите необязательную функцию compute_objective, чтобы определить целевую функцию оптимизации. По умолчанию используется eval_loss, если он присутствует, иначе — сумма всех значений метрик. Передайте явную функцию, чтобы не полагаться на этот вариант по умолчанию. Поиск с помощью backend оптимизирует целевую функцию в течение n_trials прогонов в заданном direction.
def compute_objective(metrics):
return metrics["eval_loss"]
best_run = trainer.hyperparameter_search(
hp_space=hp_space,
compute_objective=compute_objective,
n_trials=30, # how many trials to run
direction="minimize", # or "maximize" for metrics like accuracy/F1
backend="optuna", # "optuna", "ray", or "wandb"
)hyperparameter_search() возвращает ~trainer.utils.BestRun, содержащий значение целевой функции и оптимальную комбинацию гиперпараметров.
best_run = trainer.hyperparameter_search(...)
best_run.objective # 0.38 (best eval loss)
best_run.hyperparameters # {"learning_rate": 5e-5, "num_train_epochs": 4, ...}Примените лучшие гиперпараметры к TrainingArguments и обучите модель на полном наборе данных.
Update on GitHub