Accelerate documentation

Clases con estado

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Clases con estado

A continuación se muestran variaciones de una clase singleton en el sentido de que todas las instancias comparten el mismo estado, que se inicializa en la primera instanciación.

Estas clases son inmutables y almacenan información sobre ciertas configuraciones o estados.

PartialState

clase accelerate.PartialState

< >

( cpu: bool = False**kwargs )

Parámetros

  • cpu (bool, opcional) — Indica si se debe forzar la ejecución del script en la CPU. Si se establece en True, se ignorarán los aceleradores disponibles y se forzará la ejecución en la CPU.
  • kwargs (argumentos de palabra clave adicionales, opcional) — Argumentos de palabra clave adicionales para pasar a la función init_process_group correspondiente. Los kwargs válidos se pueden encontrar en utils.InitProcessGroupKwargs. Consulte la sección de ejemplos para un uso detallado.

Clase singleton que contiene información sobre el entorno de entrenamiento actual y funciones para ayudar con el control de procesos. Está diseñada para usarse cuando solo se necesitan el control de procesos y los estados de ejecución de dispositivos. No necesita ser inicializada desde Accelerator.

Attributos disponibles:

  • device (torch.device) — El dispositivo a utilizar.
  • distributed_type (DistributedType) — El tipo de entorno distribuido que se está utilizando actualmente.
  • local_process_index (int) — El índice del proceso actual en el servidor actual.
  • mixed_precision (str) — Indica si el script actual utilizará precisión mixta y, en caso afirmativo, el tipo de precisión mixta que se está aplicando. (Elija entre ‘no’,‘fp16’,‘bf16 o ‘fp8’).
  • num_processes (int) — El número de procesos lanzados actualmente en paralelo.
  • process_index (int) — El índice del proceso actual.
  • is_last_process (bool) — Indica si el proceso actual es el último.
  • is_main_process (bool) — Indica si el proceso actual es el principal.
  • is_local_main_process (bool) — Indica si el proceso actual es el principal en el nodo local.
  • debug (bool) — Indica si el script actual se está ejecutando en modo de depuración.

Ejemplo:

from accelerate.utils import InitProcessGroupKwargs

# To include `InitProcessGroupKwargs`, init then call `.to_kwargs()`
kwargs = InitProcessGroupKwargs(...).to_kwargs()
state = PartialState(**kwargs)

destroy_process_group

< >

( group = None )

Destruye el grupo de procesos. Si no se especifica uno, se destruye el grupo de procesos predeterminado.

local_main_process_first

< >

( )

Permite que el proceso principal local entre en un bloque with.

Los demás procesos entrarán en el bloque with después de que el proceso principal finalice.

Ejemplo:

>>> from accelerate.state import PartialState

>>> state = PartialState()
>>> with state.local_main_process_first():
...     # This will be printed first by local process 0 then in a seemingly
...     # random order by the other processes.
...     print(f"This will be printed by process {state.local_process_index}")

main_process_first

< >

( )

Permite que el proceso principal vaya primero dentro de un bloque with.

Los demás procesos entrarán en el bloque with después de que el proceso principal finalice.

Ejemplo:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> with accelerator.main_process_first():
...     # This will be printed first by process 0 then in a seemingly
...     # random order by the other processes.
...     print(f"This will be printed by process {accelerator.process_index}")

on_last_process

< >

( function: Callable[..., Any] )

Parámetros

  • function (Callable) — La función a decorar.

Decorador que solo ejecuta la función decorada en el último proceso.

Ejemplo:

# Assume we have 4 processes.
from accelerate.state import PartialState

state = PartialState()


@state.on_last_process
def print_something():
    print(f"Printed on process {state.process_index}")


print_something()
"Printed on process 3"

on_local_main_process

< >

( function: Callable[..., Any] | None = None )

Parámetros

  • function (Callable) — La función a decorar.

Decorador que solo ejecuta la función decorada en el proceso principal local.

Ejemplo:

# Assume we have 2 servers with 4 processes each.
from accelerate.state import PartialState

state = PartialState()


@state.on_local_main_process
def print_something():
    print("This will be printed by process 0 only on each server.")


print_something()
# On server 1:
"This will be printed by process 0 only"
# On server 2:
"This will be printed by process 0 only"

on_local_process

< >

( function: Callable[..., Any] | None = Nonelocal_process_index: int | None = None )

Parámetros

  • function (Callable, opcional) — La función a decorar.
  • local_process_index (int, opcional) — El índice del proceso local en el que se ejecutará la función.

Decorador que solo ejecuta la función decorada en el proceso con el índice dado en el nodo actual.

Ejemplo:

# Assume we have 2 servers with 4 processes each.
from accelerate import Accelerator

accelerator = Accelerator()


@accelerator.on_local_process(local_process_index=2)
def print_something():
    print(f"Printed on process {accelerator.local_process_index}")


print_something()
# On server 1:
"Printed on process 2"
# On server 2:
"Printed on process 2"

on_main_process

< >

( function: Callable[..., Any] | None = None )

Parámetros

  • function (Callable) — La función a decorar.

Decorador que solo ejecuta la función decorada en el proceso principal.

Ejemplo:

>>> from accelerate.state import PartialState

>>> state = PartialState()


>>> @state.on_main_process
... def print_something():
...     print("This will be printed by process 0 only.")


>>> print_something()
"This will be printed by process 0 only"

on_process

< >

( function: Callable[..., Any] | None = Noneprocess_index: int | None = None )

Parámetros

  • function (Callable, optional) — La función a decorar.
  • process_index (int, optional) — El índice del proceso en el que se ejecutará la función.

Decorador que solo ejecuta la función decorada en el proceso con el índice indicado.

Ejemplo:

# Assume we have 4 processes.
from accelerate.state import PartialState

state = PartialState()


@state.on_process(process_index=2)
def print_something():
    print(f"Printed on process {state.process_index}")


print_something()
"Printed on process 2"

set_device

< >

( )

Establece el dispositivo en self.device como el entorno distribuido actual.

split_between_processes

< >

( inputs: list | tuple | dict | torch.Tensorapply_padding: bool = False )

Parámetros

  • inputs (list, tuple, torch.Tensor, dict de list/tuple/torch.Tensor, o datasets.Dataset) — La entrada que se dividirá entre los procesos.
  • apply_padding (bool, optional, por defecto False) — Si se aplica relleno repitiendo el último elemento de la entrada para que todos los procesos tengan el mismo número de elementos. Útil al intentar realizar acciones como gather() en las salidas o al pasar menos entradas que procesos. Si es así, recuerda eliminar los elementos rellenados después.

Divide input entre self.num_processes de forma rápida y luego puede usarse en ese proceso. Útil al realizar inferencia distribuida, por ejemplo, con diferentes prompts.

Tenga en cuenta que al usar un dict, todas las claves deben tener el mismo número de elementos.

Ejemplo:

# Assume there are two processes
from accelerate import PartialState

state = PartialState()
with state.split_between_processes(["A", "B", "C"]) as inputs:
    print(inputs)
# Process 0
["A", "B"]
# Process 1
["C"]

with state.split_between_processes(["A", "B", "C"], apply_padding=True) as inputs:
    print(inputs)
# Process 0
["A", "B"]
# Process 1
["C", "C"]

wait_for_everyone

< >

( )

Detendrá la ejecución del proceso actual hasta que todos los demás procesos hayan alcanzado ese punto (por lo que no hace nada cuando el script se ejecuta en un solo proceso). Útil para hacerlo antes de guardar un modelo.

Ejemplo:

>>> # Assuming two GPU processes
>>> import time
>>> from accelerate.state import PartialState

>>> state = PartialState()
>>> if state.is_main_process:
...     time.sleep(2)
>>> else:
...     print("I'm waiting for the main process to finish its sleep...")
>>> state.wait_for_everyone()
>>> # Should print on every process at the same time
>>> print("Everyone is here")

AcceleratorState

clase accelerate.state.AcceleratorState

< >

( mixed_precision: str | None = Nonecpu: bool = Falsedynamo_plugin = Nonedeepspeed_plugin = Nonefsdp_plugin = Nonetorch_tp_plugin = Nonemegatron_lm_plugin = Noneparallelism_config = None_from_accelerator: bool = False**kwargs )

Clase singleton que contiene información sobre el entorno de entrenamiento actual.

Attributos disponibles:

  • device (torch.device) — El dispositivo a utilizar.
  • distributed_type (DistributedType) — El tipo de entorno distribuido que se está utilizando actualmente.
  • parallelism_config (ParallelismConfig) — La configuración de paralelismo para el entorno de entrenamiento actual. Se utiliza para configurar el entorno de entrenamiento distribuido.
  • inicializado (bool) — Indica si el AcceleratorState se ha inicializado desde Accelerator.
  • local_process_index (int) — El índice del proceso actual en el servidor actual.
  • mixed_precision (str) — Indica si el script actual utilizará precisión mixta y, en caso afirmativo, el tipo de precisión mixta que se está aplicando. (Elija entre ‘no’,‘fp16’,‘bf16 o ‘fp8’).
  • num_processes (int) — El número de procesos lanzados actualmente en paralelo.
  • process_index (int) — El índice del proceso actual.
  • is_last_process (bool) — Indica si el proceso actual es el último.
  • is_main_process (bool) — Indica si el proceso actual es el principal.
  • is_local_main_process (bool) — Indica si el proceso actual es el principal en el nodo local.
  • debug (bool) — Indica si el script actual se está ejecutando en modo de depuración.

destroy_process_group

< >

( group = None )

Destruye el grupo de procesos. Si no se especifica uno, se destruye el grupo de procesos predeterminado.

Si self.fork_launched es True y group es None, no ocurre nada.

get_deepspeed_plugin

< >

( name: str )

Devuelve el DeepSpeedPlugin con el plugin_key indicado.

local_main_process_first

< >

( )

Permite que el proceso principal local entre en un bloque with.

Los demás procesos entrarán en el bloque with después de que el proceso principal finalice.

main_process_first

< >

( )

Permite que el proceso principal vaya primero dentro de un bloque with.

Los demás procesos entrarán en el bloque with después de que el proceso principal finalice.

select_deepspeed_plugin

< >

( name: str | None = None )

Activa el DeepSpeedPlugin con el name indicado y desactiva todos los demás plugins.

split_between_processes

< >

( inputs: list | tuple | dict | torch.Tensorapply_padding: bool = False )

Parámetros

  • inputs (list, tuple, torch.Tensor o dict de list/tuple/torch.Tensor) — La entrada que se dividirá entre los procesos.
  • apply_padding (bool, optional, por defecto False) — Si se aplica relleno repitiendo el último elemento de la entrada para que todos los procesos tengan el mismo número de elementos. Útil al intentar realizar acciones como gather() en las salidas o al pasar menos entradas que procesos. Si es así, recuerda eliminar los elementos rellenados después.

Divide input entre self.num_processes de forma rápida y luego puede usarse en ese proceso. Útil al realizar inferencia distribuida, por ejemplo, con diferentes prompts.

Tenga en cuenta que al usar un dict, todas las claves deben tener el mismo número de elementos.

Ejemplo:

# Assume there are two processes
from accelerate.state import AcceleratorState

state = AcceleratorState()
with state.split_between_processes(["A", "B", "C"]) as inputs:
    print(inputs)
# Process 0
["A", "B"]
# Process 1
["C"]

with state.split_between_processes(["A", "B", "C"], apply_padding=True) as inputs:
    print(inputs)
# Process 0
["A", "B"]
# Process 1
["C", "C"]

GradientState

clase accelerate.state.GradientState

< >

( gradient_accumulation_plugin: GradientAccumulationPlugin | None = None )

Clase singleton que contiene información relacionada con la sincronización de gradientes para la acumulación de gradientes

Attributos disponibles:

  • end_of_dataloader (bool) — Indica si se ha alcanzado el final del dataloader actual
  • remainder (int) — El número de muestras adicionales que se añadieron al relleno del dataloader
  • sync_gradients (bool) — Si las gradaciones deben sincronizarse entre todos los dispositivos
  • active_dataloader (Optional[DataLoader]) — El dataloader que se está iterando actualmente
  • dataloader_references (List[Optional[DataLoader]]) — Una lista de referencias a los dataloaders que se están iterando
  • num_steps (int) — El número de pasos sobre los que acumular
  • adjust_scheduler (bool) — Si el programador debe ajustarse para tener en cuenta la acumulación de gradientes
  • sync_with_dataloader (bool) — Si las gradaciones deben sincronizarse al final de la iteración del dataloader y reiniciar el número total de pasos
  • is_xla_gradients_synced (bool) — Indica si los gradientes de XLA se han sincronizado. Se inicializa como false. Una vez que los gradientes se han reducido antes del paso del optimizador, esta bandera se establece en true. Posteriormente, después de cada paso, la bandera se restablece en false. FSDP siempre sincroniza los gradientes, por lo que is_xla_gradients_synced siempre es true.
Update on GitHub