# Accelerate

[Accelerate](https://hf.co/docs/accelerate/index) fournit une interface unifiée pour les backends d’entraînement distribué tels que [FSDP](https://docs.pytorch.org/tutorials/intermediate/FSDP_tutorial.html) ou [DeepSpeed](https://www.deepspeed.ai/). Il détecte votre environnement (nombre de GPU, backend distribué, précision mixte, etc.) et configure automatiquement l’entraînement, que vous utilisiez 1 GPU avec DDP ou 8 GPU avec FSDP.

Accelerate enveloppe le modèle dans l'enveloppe distribuée appropriée, le déplace sur le bon appareil et crée un optimiseur compatible. Pendant l'entraînement, Accelerate utilise sa propre méthode [backward](https://huggingface.co/docs/accelerate/v1.15.0/en/package_reference/accelerator#accelerate.Accelerator.backward) pour gérer le mise à l'échelle des gradients pour la précision mixte. [Trainer](/docs/transformers/v5.23.0/fr/main_classes/trainer#transformers.Trainer) appelle les API Accelerate appropriées et délègue toute la mécanique distribuée à Accelerate.

Configurez Accelerate pour [Trainer](/docs/transformers/v5.23.0/fr/main_classes/trainer#transformers.Trainer) à l'aide d'un fichier de configuration Accelerate ou de [TrainingArguments](/docs/transformers/v5.23.0/fr/main_classes/trainer#transformers.TrainingArguments).

## Fichier de configuration d'Accelerate

Exécutez la commande [accelerate config](https://huggingface.co/docs/accelerate/en/package_reference/cli#accelerate-config) et répondez aux questions concernant votre matériel et votre configuration d’entraînement. Cela crée un fichier `default_config.yaml` dans votre cache. L’exemple ci-dessous concerne FSDP.

```yaml
compute_environment: LOCAL_MACHINE
distributed_type: FSDP
fsdp_config:
  fsdp_version: 2
  fsdp_reshard_after_forward: true
  fsdp_cpu_offload: false
  fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
  fsdp_cpu_ram_efficient_loading: true
  fsdp_activation_checkpointing: false
  fsdp_state_dict_type: SHARDED_STATE_DICT
  fsdp_transformer_layer_cls_to_wrap: LlamaDecoderLayer
mixed_precision: bf16
num_machines: 1
num_processes: 4
```

Exécutez [accelerate launch](https://huggingface.co/docs/accelerate/en/package_reference/cli#accelerate-launch) avec un script basé sur [Trainer](/docs/transformers/v5.23.0/fr/main_classes/trainer#transformers.Trainer), et Accelerate lit le fichier de configuration pour configurer l’entraînement. Les arguments [fsdp_config](/docs/transformers/v5.23.0/fr/main_classes/trainer#transformers.TrainingArguments.fsdp_config) et [deepspeed](/docs/transformers/v5.23.0/fr/main_classes/trainer#transformers.TrainingArguments.deepspeed) sont inutiles car le fichier de configuration d’Accelerate couvre les mêmes paramètres.

```cli
accelerate launch train.py
```

Le [accelerator_config](/docs/transformers/v5.23.0/fr/main_classes/trainer#transformers.TrainingArguments.accelerator_config) accepte des paramètres qui ne disposent pas d'arguments de premier niveau dédiés. Par exemple, définissez `non_blocking=True` en même temps que `dataloader_pin_memory()` pour superposer le transfert de données et le calcul afin d'augmenter le débit du GPU.

```py
from transformers import TrainingArguments

TrainingArguments(
    ...,
    dataloader_pin_memory=True,
    accelerator_config={
        "non_blocking": True,
    },
)
```

## TrainingArguments

Passez une configuration spécifique au backend à [TrainingArguments](/docs/transformers/v5.23.0/fr/main_classes/trainer#transformers.TrainingArguments). La méthode [create_accelerator_and_postprocess()](/docs/transformers/v5.23.0/fr/main_classes/trainer#transformers.Trainer.create_accelerator_and_postprocess) lit les paramètres et configure l’entraînement.

Passez un fichier de configuration JSON ou un dictionnaire à `~TrainingArguments.fsdp_config`. Consultez [FSDP](./fsdp) pour un guide complet et une référence de configuration.

```py
from transformers import TrainingArguments

TrainingArguments(
    ...,
    fsdp=True,
    fsdp_config="path/to/fsdp.json",
)
```

Passez un fichier de configuration JSON ou un dictionnaire à `~TrainingArguments.deepspeed`. Consultez [DeepSpeed](./deepspeed) pour un guide complet et une référence de configuration.

```py
from transformers import TrainingArguments

TrainingArguments(
    ...,
    deepspeed="path/to/ds_config.json",
)
```

DDP est configuré directement via les champs de [TrainingArguments](/docs/transformers/v5.23.0/fr/main_classes/trainer#transformers.TrainingArguments). Consultez [DDP](./ddp) pour plus de détails.

```py
from transformers import TrainingArguments

TrainingArguments(
    ...,
    ddp_backend="nccl",
    ddp_find_unused_parameters=False,
    ddp_bucket_cap_mb=25,
    ddp_timeout=1800,
)
```

## Étapes suivantes

- Voir [DDP](./ddp) pour l’entraînement parallèle sur les données lorsque votre modèle tient sur une seule GPU.
- Voir [FSDP](./fsdp) pour le fractionnement des paramètres, des gradients et des états de l’optimiseur sur plusieurs GPU.
- Voir [DeepSpeed](./deepspeed) pour l'optimisation ZeRO et le déchargement.

