Accelerate documentation
Comece Aqui!
Primeiros passos
Tutoriais
Visão geralAdicione o Accelerate ao seu códigoProcesso de execuçãoTreinamento em TPUIniciando scripts do AccelerateIniciando o treinamento distribuído a partir de Jupyter Notebooks
Guias de como fazer
Accelerate
Comece Aqui!Estimador de memória do modeloQuantização de modelosRastreadores de experimentosProfilerCheckpointingSolução de problemasExemplo Zoo
Treinamento
Acúmulo de gradienteLocal SGDTreinamento de baixa precisão (FP8)DeepSpeedUsando múltiplos modelos com DeepSpeedGanchos de Comunicação DDPParalelismo de Dados Totalmente FragmentadoMegatron-LMAmazon SageMakerGPUs Apple M1CPU IntelIntel GaudiCompilação
Inferência
Conceitos e fundamentos
Mecanismo interno do AccelerateCarregando modelos grandes na memóriaComparando o desempenho em configurações distribuídasExecutando e adiando jobsSincronização de gradientesFSDP vs DeepSpeedFSDP1 vs FSDP2Paralelismo de contextoParalelismo de sequênciaMétodos de treinamento de baixa precisãoTreinamento em TPUs
Referência
AceleradorClasses com estadoA Linha de ComandoDataLoaders, Optimizers, SchedulersRastreadores de experimentosLançadoresUtilitários do DeepSpeedRegistroTrabalhando com modelos grandesHandlers de KwargsFP8Funções e classes utilitáriasUtilitários do Megatron-LMUtilitários de Paralelismo de Dados Totalmente Fragmentados
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
Comece Aqui!
Use a ferramenta interativa abaixo para começar a aprender sobre um recurso específico do Accelerate e como utilizá-lo! Ela fornecerá um diff de código, uma explicação sobre o que está acontecendo, além de alguns links úteis para explorar mais na documentação!
A maioria dos exemplos de código parte do seguinte código em Python antes de integrar o Accelerate de alguma forma:
for batch in dataloader:
optimizer.zero_grad()
inputs, targets = batch
inputs = inputs.to(device)
targets = targets.to(device)
outputs = model(inputs)
loss = loss_function(outputs, targets)
loss.backward()
optimizer.step()
scheduler.step()