Accelerate documentation
¡Empieza aquí!
Primeros pasos
Tutoriales
ResumenAgrega Accelerate a tu códigoProceso de ejecuciónEntrenamiento en TPULanzamiento de scripts de AccelerateIniciar el entrenamiento distribuido desde Jupyter Notebooks
Guías de uso
Accelerate
¡Empieza aquí!Estimador de memoria del modeloCuántica de modelosSeguimiento de experimentosProfilerCheckpointingSolución de problemasZoo de ejemplos
Entrenamiento
Acumulación de gradientesLocal SGDEntrenamiento de baja precisión (FP8)DeepSpeedUso de varios modelos con DeepSpeedGanchos de comunicación de DDPParalelismo de datos totalmente fragmentadoMegatron-LMAmazon SageMakerGPUs Apple M1CPU de IntelIntel GaudiCompilación
Inferencia
Conceptos y fundamentos
Mecanismo interno de AccelerateCarga de modelos grandes en memoriaComparación del rendimiento en configuraciones distribuidasEjecución y diferimiento de trabajosSincronización de gradientesFSDP frente a DeepSpeedFSDP1 frente a FSDP2Paralelismo de contextoParalelismo de secuenciaMétodos de entrenamiento de baja precisiónEntrenamiento en TPUs
Referencia
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
¡Empieza aquí!
Utiliza la herramienta interactiva de abajo para empezar a aprender sobre una característica en particular de Accelerate y cómo utilizarla. Te proporcionará una diferencia de código, una explicación de lo que está ocurriendo y algunos enlaces útiles para explorar más en la documentación.
La mayoría de los ejemplos de código parten del siguiente código de Python antes de integrar Accelerate de alguna manera:
for batch in dataloader:
optimizer.zero_grad()
inputs, targets = batch
inputs = inputs.to(device)
targets = targets.to(device)
outputs = model(inputs)
loss = loss_function(outputs, targets)
loss.backward()
optimizer.step()
scheduler.step()