Transformers documentation

DDP

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

DDP

DistributedDataParallel (DDP) mempertahankan salinan penuh model di setiap GPU. Setiap GPU memproses shard data yang tidak tumpang tindih dengan forward dan backward pass. Sebelum langkah optimizer, all-reduce merata-ratakan gradien di semua GPU sehingga setiap salinan model tetap identik. Gunakan DDP jika model Anda muat di satu GPU.

                         β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”
                         β”‚  training data  β”‚
                         β””β”€β”€β”€β”€β”€β”€β”€β”€β”¬β”€β”€β”€β”€β”€β”€β”€β”€β”˜
               β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”Όβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”
               β”‚ shard 0          β”‚ shard 1          β”‚ shard 2
               β–Ό                  β–Ό                  β–Ό
        β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”    β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”    β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”
        β”‚   model     β”‚    β”‚   model     β”‚    β”‚   model     β”‚
        β”‚  (copy 0)   β”‚    β”‚  (copy 1)   β”‚    β”‚  (copy 2)   β”‚
        β”‚   GPU 0     β”‚    β”‚   GPU 1     β”‚    β”‚   GPU 2     β”‚
        β””β”€β”€β”€β”€β”€β”€β”¬β”€β”€β”€β”€β”€β”€β”˜    β””β”€β”€β”€β”€β”€β”€β”¬β”€β”€β”€β”€β”€β”€β”˜    β””β”€β”€β”€β”€β”€β”€β”¬β”€β”€β”€β”€β”€β”€β”˜
               β”‚ grads            β”‚ grads            β”‚ grads
               β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”Όβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜
                               all-reduce
                          (average gradients)
               β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”Όβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”
               β–Ό                  β–Ό                  β–Ό
        β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”    β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”    β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”
        β”‚  optimizer  β”‚    β”‚  optimizer  β”‚    β”‚  optimizer  β”‚
        β”‚    step     β”‚    β”‚    step     β”‚    β”‚    step     β”‚
        β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜    β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜    β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜
          (identical)        (identical)        (identical)

DDP diaktifkan secara otomatis saat Anda meluncurkan dengan peluncur multi-proses seperti Accelerate.

# 4 GPUs on one machine
accelerate launch --num_processes 4 train.py

Konfigurasi DDP

Lewatkan TrainingArguments ini untuk mengontrol perilaku DDP.

  • gradient_accumulation_steps() menentukan kapan all-reduce dilakukan. Trainer melewati all-reduce pada langkah akumulasi antara dan hanya menjalankannya pada micro-batch terakhir. Misalnya, dengan gradient_accumulation_steps=4, all-reduce dijalankan setiap 4 backward pass.
  • ~TrainingArguments.ddp_find_unused_parameters menelusuri graf autograd di akhir forward pass untuk parameter yang tidak akan menerima gradien dan menandainya sebagai siap agar tidak memblokir all-reduce. Jangan gunakan dengan ~TrainingArguments.gradient_checkpointing karena gradient checkpointing membuang aktivasi antara dan menghitungnya ulang secara langsung.
  • ~TrainingArguments.ddp_bucket_cap_mb adalah ukuran bucket untuk pengelompokan gradien menjadi satu all-reduce selama backward pass. Bucket yang lebih besar berarti lebih sedikit panggilan all-reduce dan overhead peluncuran yang lebih rendah.
  • ~TrainingArguments.ddp_broadcast_buffers menyinkronkan buffer model (seperti statistik berjalan BatchNorm) dari rank 0 ke semua rank lainnya di awal setiap forward pass. Nonaktifkan jika model Anda hanya menggunakan LayerNorm. Jangan gunakan bersama ~TrainingArguments.gradient_checkpointing.
  • ~TrainingArguments.ddp_backend mengatur backend komunikasi. Gunakan "nccl" untuk GPU NVIDIA (default dan tercepat), "gloo" untuk pelatihan atau debugging CPU, serta "xccl", "hccl", atau "cncl" untuk perangkat keras lainnya.
  • ddp_timeout() mengatur batas waktu bagi semua proses dan operasi (all-reduce, broadcast) untuk selesai. Jika suatu proses macet, misalnya saat memuat model besar dengan lambat, timeout akan memicu error alih-alih memblokir tanpa batas waktu.
from transformers import TrainingArguments

args = TrainingArguments(
    ...,
    gradient_accumulation_steps=4,
    ddp_backend="nccl",
    ddp_find_unused_parameters=False,
    ddp_bucket_cap_mb=25,
    ddp_broadcast_buffers=True,
    ddp_timeout=1800,
)

Langkah selanjutnya

  • Lihat FSDP untuk melatih model yang terlalu besar untuk muat di satu GPU.
  • Lihat DeepSpeed untuk optimasi ZeRO dan offloading.
  • Baca bab Data Parallelism dari The Ultra-Scale Playbook untuk informasi lebih lanjut tentang cara kerja DDP.
Update on GitHub