Accelerate documentation

Düşük Hassasiyetli Eğitim Yöntemleri

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Düşük Hassasiyetli Eğitim Yöntemleri

Accelerate, TransformersEngine ve torchao paketleri aracılığıyla, belirtilen desteklenen donanımlar üzerinde düşük hassasiyetli yöntemlerle eğitim yapmayı sağlayan entegrasyonlar sunar. Bu doküman, hangi donanımların desteklendiğini, Accelerator bileşeninizi düşük hassasiyetli yöntemlerden yararlanacak şekilde nasıl yapılandıracağınızı ve eğitim sırasında neler beklemeniz gerektiğini anlamanıza yardımcı olacaktır.

FP8 üzerinde eğitimin ne anlama geldiği

PyTorch ve Accelerate ile FP8'de eğitimin inceliklerini daha ayrıntılı incelemek için, bunun neden zor olabileceğini açıklayan concept_guide dokümanına göz atın. Ancak özünde, BF16 ile eğitim yapmak yerine, bir modelin eğitiminin bazı (veya tüm) yönleri 16 bit yerine 8 bit kullanılarak gerçekleştirilebilir. Zorluk, bunu son performansı düşürmeden yapmaktır.

Bu özellik yalnızca belirli NVIDIA donanımlarında etkinleştirilir, bunlar:

  • 3000 serisi tüketici grafik kartlarından (4090 gibi) sonraki her şey
  • Hopper tabanlı GPU mimarileri (örneğin H100 ve H200)

Bunun sonucunda, eğitimin bazı kısımları için gereken bellek yarıya indirildiğinden kullanılan bellekte bir azalma ve belirli katmanları FP8 destekli olanlarla değiştirebilen daha büyük modellerde gözlemlenmesi gereken bir de verimlilik artışı olacaktır.

Hızlandırıcıyı Yapılandırma

Şu anda FP8 için aktif olarak sürdürülen iki backend desteklenmektedir (TransformersEngine ve torchao); her birinin farklı yetenekleri ve yapılandırmaları vardır.

Her ikisini kullanmak için aynı temel API kullanılır. Karmaşıklık hassasiyeti sorulduğunda accelerate config sırasında Accelerator'a mixed_precision="fp8" parametresini geçin veya config.yaml dosyanızda mixed_precision anahtarı olarak ekleyin:

from accelerate import Accelerator
accelerator = Accelerator(mixed_precision="fp8")

Bir backend belirtmek (ve FP8 karma hassasiyet kurulumunun diğer kısımlarını özelleştirmek) için utils.AORecipeKwargs veya utils.TERecipeKwargs gibi RecipeKwargs veri sınıflarından birini kullanabilirsiniz; bunu ayrıca yapılandırma dosyanızda yaml içinde veya accelerate launch sırasında da açıklayabilirsiniz. Yeni projeler için TransformersEngine veya torchao kullanmanızı öneririz:

from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs, AORecipeKwargs
# Use TransformersEngine
kwargs = [TERecipeKwargs()]
# Or to use torchao
# kwargs = [AORecipeKwargs()]
accelerator = Accelerator(mixed_precision="fp8", kwarg_handlers=kwargs)
mixed_precision: fp8
fp8_config:
  amax_compute_algo: max
  amax_history_len: 1024
  backend: TE
  fp8_format: HYBRID
  interval: 1
  margin: 0
  override_linear_precision: (false, false, false)
  use_autocast_during_eval: false

TransformersEngine Yapılandırması

TransformersEngine, FP8 hesaplamalarının nasıl ve ne şekilde yapılacağını özelleştirmek için birçok seçenek sunar. Desteklenen argümanların tam listesi ve anlamları NVIDIA’nın belgelerinde yer almakta olup, kolaylığınız için FP8KwargsHandler’in docstring’inde de tekrarlanmıştır.

Accelerate makul varsayılan değerler ayarlamaya çalışır, ancak çeşitli parametreleri kendiniz keşfedip ayarlamanız potansiyel olarak daha iyi performans sağlayabilir.

Bunu kullanmak için backend="te" belirtin ve kwarg işleyicinizin bir parçası olarak istediğiniz argümanları değiştirin:

from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs
kwargs = [TERecipeKwargs(...)]
accelerator = Accelerator(mixed_precision="fp8", kwargs_handlers=kwargs)

Veya --fp8_backend=te ... ile accelerate launch sırasında. İlgili argümanları görmek için accelerate launch --fp8_backend=te -h kullanın.

Benzer şekilde bu, config.yaml dosyanızda da ayarlanabilir:

mixed_precision: fp8
fp8_config:
    amax_compute_algo: max
    amax_history_len: 1024
    backend: TE
    fp8_format: HYBRID
    interval: 1
    margin: 0
    override_linear_precision: (false, false, false)
    use_autocast_during_eval: false

torchao yapılandırması

torchao, PyTorch tabanlı ve düzenlenebilir bir FP8 arka ucudur; önceki iki motorla karşılaştırıldığında daha erişilebilir olmayı hedefler. ao için önceki iki motordan temel farklardan biri, sayısal kararlılık açısından modeldeki ilk ve son katmanların normal hassasiyette (FP32 veya BF16) tutulmasının, diğer katmanların ise FP8’e indirgenmesinin genel olarak daha iyi sonuç vermesidir. Bu nedenle ao için bir yapılandırma biraz farklı görünür:

Not: bu API deneyseldir ve değişikliklere tabidir

from accelerate import Accelerator
from accelerate.utils import AORecipeKwargs, TorchDynamoPlugin, FullyShardedDataParallelPlugin
from torchao.float8 import Float8LinearConfig

fsdp2_plugin = FullyShardedDataParallelPlugin(
  fsdp_version=2,
  cpu_ram_efficient_loading=False, # CPU RAM efficient loading CANNOT work with fp8 torchao
  fsdp_auto_wrap_policy="TRANSFORMER_BASED_WRAP",
)
dynamo_plugin = TorchDynamoPlugin(
  backend="inductor",
  use_regional_compilation=True,
)
fp8_config = Float8LinearConfig(
  enable_fsdp_float8_all_gather=True, # Use FP8 all_gather in FSDP2
  pad_inner_dim=True,
)
kwargs = [AORecipeKwargs(
  config=fp8_config
)]
accelerator = Accelerator(
  mixed_precision="fp8",
  fsdp_plugin=fsdp2_plugin,
  dynamo_plugin=dynamo_plugin,
  kwarg_handlers=kwargs,
)

Veya --fp8_backend=ao ... ile accelerate launch sırasında. İlgili argümanları görmek için accelerate launch --fp8_backend=ao -h komutunu kullanın.

Benzer şekilde, bu config.yaml içinde ayarlanabilir:

mixed_precision: fp8
fsdp_config:
  fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
  fsdp_cpu_ram_efficient_loading: false
  fsdp_version: 2
fp8_config:
  backend: AO
  pad_inner_dim: true
  enable_fsdp_float8_all_gather: true
dynamo_config:
  dynamo_backend: INDUCTOR
  dynamo_use_regional_compilation: true

Kullanılacak belirli parametreler hakkında daha fazla bilgi için lütfen resmi torchao deposuna bakın.

Örnek Hayvanat Bahçesi

Accelerate deposunda, hem accelerate hem de onun altındaki uygulamasıyla FP8 ile eğitim gösteren örnekler bulunmaktadır. Şu anda aşağıdakileri gösteren betikleri destekliyoruz:

  • Tek GPU
  • Dağıtık Veri Paralelliği (Çoklu GPU)
  • Tamamen Parçalı Veri Paralelliği
  • DeepSpeed ZeRO 1'den 3'e

Daha fazla bilgi için buraya bakın

Daha Fazla Okuma

FP8 ile eğitim hakkında daha fazla bilgi edinmek için aşağıdaki kaynaklara göz atın:

Update on GitHub