# Intel Gaudi

Kullanıcılar, önemli ölçüde daha hızlı ve maliyet etkin model eğitimi ve çıkarımı için Intel Gaudi AI hızlandırıcılarından yararlanabilir. Intel Gaudi AI hızlandırıcı ailesi şu anda üç ürün neslini içerir: [Intel Gaudi 1](https://habana.ai/products/gaudi/), [Intel Gaudi 2](https://habana.ai/products/gaudi2/) ve [Intel Gaudi 3](https://habana.ai/products/gaudi3/). Her sunucu, Habana İşlem Birimleri (HPU) olarak bilinen 8 cihazla donatılmıştır; bu cihazlar Gaudi 3'te 128GB, Gaudi 2'de 96GB ve birinci nesil Gaudi'de 32GB bellek sağlar. Altta yatan donanım mimarisi hakkında daha fazla ayrıntı için [Gaudi Architecture Overview](https://docs.habana.ai/en/latest/Gaudi_Overview/Gaudi_Architecture.html) sayfasına göz atın.

## Varsayılan olarak nasıl çalışır

Intel Gaudi cihazı algılanırsa varsayılan olarak etkinleştirilir. Devre dışı bırakmak için `accelerate launch` komutuna `--cpu` bayrağını iletin veya `accelerate config` anketine yanıt verirken ilgili soruya cevap verin.

Intel Gaudi üzerinde test etmek için aşağıdaki betiği doğrudan çalıştırabilirsiniz:

```bash
accelerate launch /examples/cv_example.py --data_dir images
```

## Kısıtlamalar

Aşağıdaki özellikler Accelerate kütüphanesinin bir parçası değildir ve [Optimum for Intel Gaudi](https://huggingface.co/docs/optimum/main/en/habana/index) gerektirir:

- `fast_ddp`, Torch DDP sarmalayıcısı yerine gradyanlara bir all-reduce uygulayarak DDP'yi uygulayan.
- fp8 eğitimi için kullanılan ve ileri ile geri geçişler arasında fp8 ağırlıkların bellekte tutulmasını sağlayarak ek fp8 dönüşümleri pahasına daha küçük bir bellek ayak izi elde edilmesini mümkün kılan `minimize_memory`.
- `context_parallel_size`, Context/Sequence Parallelism (CP/SP) için kullanılır ve bellek ayak izini azaltmak ile verimliliği artırmak amacıyla ağ girdilerini ve aktivasyonları sıra boyutu boyunca böler.