Accelerate documentation
Clases con estado
Clases con estado
A continuación se muestran variaciones de una clase singleton en el sentido de que todas las instancias comparten el mismo estado, que se inicializa en la primera instanciación.
Estas clases son inmutables y almacenan información sobre ciertas configuraciones o estados.
PartialState
clase accelerate.PartialState
< source >( cpu: bool = False**kwargs )
Parámetros
- cpu (
bool, opcional) — Indica si se debe forzar la ejecución del script en la CPU. Si se establece enTrue, se ignorarán los aceleradores disponibles y se forzará la ejecución en la CPU. - kwargs (argumentos de palabra clave adicionales, opcional) —
Argumentos de palabra clave adicionales para pasar a la función
init_process_groupcorrespondiente. Loskwargsválidos se pueden encontrar en utils.InitProcessGroupKwargs. Consulte la sección de ejemplos para un uso detallado.
Clase singleton que contiene información sobre el entorno de entrenamiento actual y funciones para ayudar con el control de procesos. Está diseñada para usarse cuando solo se necesitan el control de procesos y los estados de ejecución de dispositivos. No necesita ser inicializada desde Accelerator.
Attributos disponibles:
- device (
torch.device) — El dispositivo a utilizar. - distributed_type (DistributedType) — El tipo de entorno distribuido que se está utilizando actualmente.
- local_process_index (
int) — El índice del proceso actual en el servidor actual. - mixed_precision (
str) — Indica si el script actual utilizará precisión mixta y, en caso afirmativo, el tipo de precisión mixta que se está aplicando. (Elija entre ‘no’,‘fp16’,‘bf16 o ‘fp8’). - num_processes (
int) — El número de procesos lanzados actualmente en paralelo. - process_index (
int) — El índice del proceso actual. - is_last_process (
bool) — Indica si el proceso actual es el último. - is_main_process (
bool) — Indica si el proceso actual es el principal. - is_local_main_process (
bool) — Indica si el proceso actual es el principal en el nodo local. - debug (
bool) — Indica si el script actual se está ejecutando en modo de depuración.
Ejemplo:
from accelerate.utils import InitProcessGroupKwargs
# To include `InitProcessGroupKwargs`, init then call `.to_kwargs()`
kwargs = InitProcessGroupKwargs(...).to_kwargs()
state = PartialState(**kwargs)Destruye el grupo de procesos. Si no se especifica uno, se destruye el grupo de procesos predeterminado.
Permite que el proceso principal local entre en un bloque with.
Los demás procesos entrarán en el bloque with después de que el proceso principal finalice.
Ejemplo:
>>> from accelerate.state import PartialState
>>> state = PartialState()
>>> with state.local_main_process_first():
... # This will be printed first by local process 0 then in a seemingly
... # random order by the other processes.
... print(f"This will be printed by process {state.local_process_index}")Permite que el proceso principal vaya primero dentro de un bloque with.
Los demás procesos entrarán en el bloque with después de que el proceso principal finalice.
Ejemplo:
>>> from accelerate import Accelerator
>>> accelerator = Accelerator()
>>> with accelerator.main_process_first():
... # This will be printed first by process 0 then in a seemingly
... # random order by the other processes.
... print(f"This will be printed by process {accelerator.process_index}")on_last_process
< source >( function: Callable[..., Any] )
Decorador que solo ejecuta la función decorada en el último proceso.
on_local_main_process
< source >( function: Callable[..., Any] | None = None )
Decorador que solo ejecuta la función decorada en el proceso principal local.
Ejemplo:
# Assume we have 2 servers with 4 processes each.
from accelerate.state import PartialState
state = PartialState()
@state.on_local_main_process
def print_something():
print("This will be printed by process 0 only on each server.")
print_something()
# On server 1:
"This will be printed by process 0 only"
# On server 2:
"This will be printed by process 0 only"on_local_process
< source >( function: Callable[..., Any] | None = Nonelocal_process_index: int | None = None )
Decorador que solo ejecuta la función decorada en el proceso con el índice dado en el nodo actual.
Ejemplo:
# Assume we have 2 servers with 4 processes each.
from accelerate import Accelerator
accelerator = Accelerator()
@accelerator.on_local_process(local_process_index=2)
def print_something():
print(f"Printed on process {accelerator.local_process_index}")
print_something()
# On server 1:
"Printed on process 2"
# On server 2:
"Printed on process 2"on_main_process
< source >( function: Callable[..., Any] | None = None )
Decorador que solo ejecuta la función decorada en el proceso principal.
on_process
< source >( function: Callable[..., Any] | None = Noneprocess_index: int | None = None )
Decorador que solo ejecuta la función decorada en el proceso con el índice indicado.
Establece el dispositivo en self.device como el entorno distribuido actual.
split_between_processes
< source >( inputs: list | tuple | dict | torch.Tensorapply_padding: bool = False )
Parámetros
- inputs (
list,tuple,torch.Tensor,dictdelist/tuple/torch.Tensor, odatasets.Dataset) — La entrada que se dividirá entre los procesos. - apply_padding (
bool,optional, por defectoFalse) — Si se aplica relleno repitiendo el último elemento de la entrada para que todos los procesos tengan el mismo número de elementos. Útil al intentar realizar acciones comogather()en las salidas o al pasar menos entradas que procesos. Si es así, recuerda eliminar los elementos rellenados después.
Divide input entre self.num_processes de forma rápida y luego puede usarse en ese proceso. Útil al realizar inferencia distribuida, por ejemplo, con diferentes prompts.
Tenga en cuenta que al usar un dict, todas las claves deben tener el mismo número de elementos.
Ejemplo:
# Assume there are two processes
from accelerate import PartialState
state = PartialState()
with state.split_between_processes(["A", "B", "C"]) as inputs:
print(inputs)
# Process 0
["A", "B"]
# Process 1
["C"]
with state.split_between_processes(["A", "B", "C"], apply_padding=True) as inputs:
print(inputs)
# Process 0
["A", "B"]
# Process 1
["C", "C"]Detendrá la ejecución del proceso actual hasta que todos los demás procesos hayan alcanzado ese punto (por lo que no hace nada cuando el script se ejecuta en un solo proceso). Útil para hacerlo antes de guardar un modelo.
Ejemplo:
>>> # Assuming two GPU processes
>>> import time
>>> from accelerate.state import PartialState
>>> state = PartialState()
>>> if state.is_main_process:
... time.sleep(2)
>>> else:
... print("I'm waiting for the main process to finish its sleep...")
>>> state.wait_for_everyone()
>>> # Should print on every process at the same time
>>> print("Everyone is here")AcceleratorState
clase accelerate.state.AcceleratorState
< source >( mixed_precision: str | None = Nonecpu: bool = Falsedynamo_plugin = Nonedeepspeed_plugin = Nonefsdp_plugin = Nonetorch_tp_plugin = Nonemegatron_lm_plugin = Noneparallelism_config = None_from_accelerator: bool = False**kwargs )
Clase singleton que contiene información sobre el entorno de entrenamiento actual.
Attributos disponibles:
- device (
torch.device) — El dispositivo a utilizar. - distributed_type (DistributedType) — El tipo de entorno distribuido que se está utilizando actualmente.
- parallelism_config (
ParallelismConfig) — La configuración de paralelismo para el entorno de entrenamiento actual. Se utiliza para configurar el entorno de entrenamiento distribuido. - inicializado (
bool) — Indica si elAcceleratorStatese ha inicializado desdeAccelerator. - local_process_index (
int) — El índice del proceso actual en el servidor actual. - mixed_precision (
str) — Indica si el script actual utilizará precisión mixta y, en caso afirmativo, el tipo de precisión mixta que se está aplicando. (Elija entre ‘no’,‘fp16’,‘bf16 o ‘fp8’). - num_processes (
int) — El número de procesos lanzados actualmente en paralelo. - process_index (
int) — El índice del proceso actual. - is_last_process (
bool) — Indica si el proceso actual es el último. - is_main_process (
bool) — Indica si el proceso actual es el principal. - is_local_main_process (
bool) — Indica si el proceso actual es el principal en el nodo local. - debug (
bool) — Indica si el script actual se está ejecutando en modo de depuración.
Destruye el grupo de procesos. Si no se especifica uno, se destruye el grupo de procesos predeterminado.
Si self.fork_launched es True y group es None, no ocurre nada.
Devuelve el DeepSpeedPlugin con el plugin_key indicado.
Permite que el proceso principal local entre en un bloque with.
Los demás procesos entrarán en el bloque with después de que el proceso principal finalice.
Permite que el proceso principal vaya primero dentro de un bloque with.
Los demás procesos entrarán en el bloque with después de que el proceso principal finalice.
Activa el DeepSpeedPlugin con el name indicado y desactiva todos los demás plugins.
split_between_processes
< source >( inputs: list | tuple | dict | torch.Tensorapply_padding: bool = False )
Parámetros
- inputs (
list,tuple,torch.Tensorodictdelist/tuple/torch.Tensor) — La entrada que se dividirá entre los procesos. - apply_padding (
bool,optional, por defectoFalse) — Si se aplica relleno repitiendo el último elemento de la entrada para que todos los procesos tengan el mismo número de elementos. Útil al intentar realizar acciones comogather()en las salidas o al pasar menos entradas que procesos. Si es así, recuerda eliminar los elementos rellenados después.
Divide input entre self.num_processes de forma rápida y luego puede usarse en ese proceso. Útil al realizar inferencia distribuida, por ejemplo, con diferentes prompts.
Tenga en cuenta que al usar un dict, todas las claves deben tener el mismo número de elementos.
Ejemplo:
# Assume there are two processes
from accelerate.state import AcceleratorState
state = AcceleratorState()
with state.split_between_processes(["A", "B", "C"]) as inputs:
print(inputs)
# Process 0
["A", "B"]
# Process 1
["C"]
with state.split_between_processes(["A", "B", "C"], apply_padding=True) as inputs:
print(inputs)
# Process 0
["A", "B"]
# Process 1
["C", "C"]GradientState
clase accelerate.state.GradientState
< source >( gradient_accumulation_plugin: GradientAccumulationPlugin | None = None )
Clase singleton que contiene información relacionada con la sincronización de gradientes para la acumulación de gradientes
Attributos disponibles:
- end_of_dataloader (
bool) — Indica si se ha alcanzado el final del dataloader actual - remainder (
int) — El número de muestras adicionales que se añadieron al relleno del dataloader - sync_gradients (
bool) — Si las gradaciones deben sincronizarse entre todos los dispositivos - active_dataloader (
Optional[DataLoader]) — El dataloader que se está iterando actualmente - dataloader_references (
List[Optional[DataLoader]]) — Una lista de referencias a los dataloaders que se están iterando - num_steps (
int) — El número de pasos sobre los que acumular - adjust_scheduler (
bool) — Si el programador debe ajustarse para tener en cuenta la acumulación de gradientes - sync_with_dataloader (
bool) — Si las gradaciones deben sincronizarse al final de la iteración del dataloader y reiniciar el número total de pasos - is_xla_gradients_synced (
bool) — Indica si los gradientes de XLA se han sincronizado. Se inicializa como false. Una vez que los gradientes se han reducido antes del paso del optimizador, esta bandera se establece en true. Posteriormente, después de cada paso, la bandera se restablece en false. FSDP siempre sincroniza los gradientes, por lo que is_xla_gradients_synced siempre es true.