Transformers documentation

Поиск гиперпараметров

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Поиск гиперпараметров

Гиперпараметры, такие как скорость обучения, размер батча и количество эпох, существенно влияют на результаты обучения. Trainer.hyperparameter_search() находит оптимальную комбинацию, запуская несколько испытаний, каждое из которых использует различные значения, и возвращает лучший результат.

Каждая итерация инициализирует новую модель с помощью model_init, выбирает новые гиперпараметры, выполняет полный цикл обучения и передаёт значение целевой функции в поисковый бэкенд. Бэкенд использует каждое значение целевой функции для выбора параметров следующей итерации. После завершения всех итераций лучшие гиперпараметры возвращаются в объекте ~trainer.utils.BestRun.

Инициализация модели

Начинайте каждый эксперимент с новой модели, чтобы избежать влияния состояния предыдущих запусков. model_init вызывается в начале каждого эксперимента и возвращает новый экземпляр модели, поэтому каждый эксперимент начинается с одних и тех же начальных весов.

from transformers import AutoModelForCausalLM

def model_init(trial):
    return AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B")

trainer = Trainer(
    model_init=model_init,
    args=args,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
)

Не передавайте одновременно model= и model_init=, иначе Trainer вызовет ошибку.

Определение пространства поиска

Создайте функцию, которая определяет пространство поиска. Формат зависит от бэкенда. Если вы не определите функцию hp_space, поиск по умолчанию охватывает learning_rate, num_train_epochs и per_device_train_batch_size.

# install one of these hyperparam search backends
pip install optuna
pip install wandb
pip install ray[tune]
Optuna
Ray Tune
Weights & Biases

Optuna — это легковесный фреймворк для оптимизации гиперпараметров.

def hp_space(trial):
    return {
        "learning_rate": trial.suggest_float("learning_rate", 1e-6, 1e-4, log=True),
        "per_device_train_batch_size": trial.suggest_categorical("per_device_train_batch_size", [16, 32, 64, 128]),
    }

Выполнить поиск

Укажите необязательную функцию compute_objective, чтобы определить целевую функцию оптимизации. По умолчанию используется eval_loss, если он присутствует, иначе — сумма всех значений метрик. Передайте явную функцию, чтобы не полагаться на этот вариант по умолчанию. Поиск с помощью backend оптимизирует целевую функцию в течение n_trials прогонов в заданном direction.

def compute_objective(metrics):
    return metrics["eval_loss"]

best_run = trainer.hyperparameter_search(
    hp_space=hp_space,
    compute_objective=compute_objective,
    n_trials=30,               # how many trials to run
    direction="minimize",      # or "maximize" for metrics like accuracy/F1
    backend="optuna",          # "optuna", "ray", or "wandb"
)

hyperparameter_search() возвращает ~trainer.utils.BestRun, содержащий значение целевой функции и оптимальную комбинацию гиперпараметров.

best_run = trainer.hyperparameter_search(...)

best_run.objective        # 0.38  (best eval loss)
best_run.hyperparameters  # {"learning_rate": 5e-5, "num_train_epochs": 4, ...}

Примените лучшие гиперпараметры к TrainingArguments и обучите модель на полном наборе данных.

Update on GitHub