Accelerate documentation

Intel Gaudi

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Intel Gaudi

Los usuarios pueden aprovechar los aceleradores de IA Intel Gaudi para un entrenamiento e inferencia de modelos significativamente más rápidos y rentables. La familia de aceleradores de IA Intel Gaudi incluye actualmente tres generaciones de productos: Intel Gaudi 1, Intel Gaudi 2 y Intel Gaudi 3. Cada servidor está equipado con 8 dispositivos, conocidos como unidades de procesamiento Habana (HPU), que proporcionan 128 GB de memoria en Gaudi 3, 96 GB en Gaudi 2 y 32 GB en Gaudi de primera generación. Para más detalles sobre la arquitectura de hardware subyacente, consulte el Gaudi Architecture Overview.

Cómo funciona sin configuración adicional

Se habilita de forma predeterminada si se detecta un dispositivo Intel Gaudi. Para deshabilitarlo, pase la bandera --cpu al comando accelerate launch o responda la pregunta correspondiente al responder el cuestionario de accelerate config.

Puede ejecutar directamente el siguiente script para probarlo en Intel Gaudi:

accelerate launch /examples/cv_example.py --data_dir images

Limitaciones

Las siguientes funciones no forman parte de la biblioteca Accelerate y requieren Optimum for Intel Gaudi:

  • fast_ddp, que implementa DDP aplicando un all-reduce a los gradientes en lugar del envoltorio DDP de Torch.
  • minimize_memory, que se utiliza para el entrenamiento en fp8 y permite mantener los pesos en fp8 en memoria entre las pasadas hacia adelante y hacia atrás, lo que reduce la huella de memoria a costa de realizar conversiones adicionales a fp8.
  • context_parallel_size, que se utiliza para el paralelismo de contexto/secuencia (CP/SP) y que particiona las entradas de la red y las activaciones a lo largo de la dimensión de secuencia para reducir la huella de memoria y aumentar el rendimiento.
Update on GitHub