Intel Gaudi

Kullanıcılar, model eğitimi ve çıkarımı için önemli ölçüde daha hızlı ve maliyet etkin performans sunan Intel Gaudi AI hızlandırıcılarından yararlanabilir. Intel Gaudi AI hızlandırıcı ailesi şu anda üç ürün neslini içerir: Intel Gaudi 1, Intel Gaudi 2 ve Intel Gaudi 3. Her sunucu, Habana Processing Unit (HPU) olarak bilinen 8 cihazla donatılmıştır; bu cihazlar Gaudi 3'te 128GB, Gaudi 2'de 96GB ve birinci nesil Gaudi'de 32GB bellek sağlar. Altta yatan donanım mimarisi hakkında daha fazla ayrıntı için Gaudi Architecture Overview sayfasına göz atın.

Varsayılan olarak nasıl çalışır

Intel Gaudi cihazı algılanırsa varsayılan olarak etkinleştirilir. Devre dışı bırakmak için accelerate launch komutuna --cpu bayrağını iletin veya accelerate config anketine yanıt verirken ilgili soruya cevap verin.

Intel Gaudi üzerinde test etmek için aşağıdaki betiği doğrudan çalıştırabilirsiniz:

accelerate launch /examples/cv_example.py --data_dir images

Kısıtlamalar

Aşağıdaki özellikler Accelerate kütüphanesinin bir parçası değildir ve Optimum for Intel Gaudi gerektirir:

• fast_ddp, Torch DDP sarmalayıcısı yerine gradyanlara bir all-reduce uygulayarak DDP'yi uygulayan.
• fp8 eğitimi için kullanılan ve ileri ile geri geçişler arasında fp8 ağırlıkların bellekte tutulmasını sağlayarak ek fp8 dönüşümleri pahasına daha küçük bir bellek ayak izi elde edilmesini mümkün kılan minimize_memory.
• context_parallel_size, Context/Sequence Parallelism (CP/SP) için kullanılır ve bellek ayak izini azaltmak ile verimliliği artırmak amacıyla ağ girdilerini ve aktivasyonları sıra boyutu boyunca böler.