Transformers documentation
DDP
Mulai
Kelas dasar
Model
Preprocessor
Inferensi
API Pipeline
Generate API
Optimasi
Berbicara dengan model
Serving
Pelatihan
Perangkat keras
Kuantisasi
Integrasi ekosistem
Sumber daya
API
DDP
DistributedDataParallel (DDP) mempertahankan salinan penuh model di setiap GPU. Setiap GPU memproses shard data yang tidak tumpang tindih dengan forward dan backward pass. Sebelum langkah optimizer, all-reduce merata-ratakan gradien di semua GPU sehingga setiap salinan model tetap identik. Gunakan DDP jika model Anda muat di satu GPU.
βββββββββββββββββββ
β training data β
ββββββββββ¬βββββββββ
ββββββββββββββββββββΌβββββββββββββββββββ
β shard 0 β shard 1 β shard 2
βΌ βΌ βΌ
βββββββββββββββ βββββββββββββββ βββββββββββββββ
β model β β model β β model β
β (copy 0) β β (copy 1) β β (copy 2) β
β GPU 0 β β GPU 1 β β GPU 2 β
ββββββββ¬βββββββ ββββββββ¬βββββββ ββββββββ¬βββββββ
β grads β grads β grads
ββββββββββββββββββββΌβββββββββββββββββββ
all-reduce
(average gradients)
ββββββββββββββββββββΌβββββββββββββββββββ
βΌ βΌ βΌ
βββββββββββββββ βββββββββββββββ βββββββββββββββ
β optimizer β β optimizer β β optimizer β
β step β β step β β step β
βββββββββββββββ βββββββββββββββ βββββββββββββββ
(identical) (identical) (identical)DDP diaktifkan secara otomatis saat Anda meluncurkan dengan peluncur multi-proses seperti Accelerate.
# 4 GPUs on one machine
accelerate launch --num_processes 4 train.pyKonfigurasi DDP
Lewatkan TrainingArguments ini untuk mengontrol perilaku DDP.
gradient_accumulation_steps()menentukan kapan all-reduce dilakukan. Trainer melewati all-reduce pada langkah akumulasi antara dan hanya menjalankannya pada micro-batch terakhir. Misalnya, dengangradient_accumulation_steps=4, all-reduce dijalankan setiap 4 backward pass.~TrainingArguments.ddp_find_unused_parametersmenelusuri graf autograd di akhir forward pass untuk parameter yang tidak akan menerima gradien dan menandainya sebagai siap agar tidak memblokir all-reduce. Jangan gunakan dengan~TrainingArguments.gradient_checkpointingkarena gradient checkpointing membuang aktivasi antara dan menghitungnya ulang secara langsung.~TrainingArguments.ddp_bucket_cap_mbadalah ukuran bucket untuk pengelompokan gradien menjadi satu all-reduce selama backward pass. Bucket yang lebih besar berarti lebih sedikit panggilan all-reduce dan overhead peluncuran yang lebih rendah.~TrainingArguments.ddp_broadcast_buffersmenyinkronkan buffer model (seperti statistik berjalan BatchNorm) dari rank 0 ke semua rank lainnya di awal setiap forward pass. Nonaktifkan jika model Anda hanya menggunakan LayerNorm. Jangan gunakan bersama~TrainingArguments.gradient_checkpointing.~TrainingArguments.ddp_backendmengatur backend komunikasi. Gunakan"nccl"untuk GPU NVIDIA (default dan tercepat),"gloo"untuk pelatihan atau debugging CPU, serta"xccl","hccl", atau"cncl"untuk perangkat keras lainnya.ddp_timeout()mengatur batas waktu bagi semua proses dan operasi (all-reduce, broadcast) untuk selesai. Jika suatu proses macet, misalnya saat memuat model besar dengan lambat, timeout akan memicu error alih-alih memblokir tanpa batas waktu.
from transformers import TrainingArguments
args = TrainingArguments(
...,
gradient_accumulation_steps=4,
ddp_backend="nccl",
ddp_find_unused_parameters=False,
ddp_bucket_cap_mb=25,
ddp_broadcast_buffers=True,
ddp_timeout=1800,
)Langkah selanjutnya
- Lihat FSDP untuk melatih model yang terlalu besar untuk muat di satu GPU.
- Lihat DeepSpeed untuk optimasi ZeRO dan offloading.
- Baca bab Data Parallelism dari The Ultra-Scale Playbook untuk informasi lebih lanjut tentang cara kerja DDP.