Accelerate documentation
Düşük Hassasiyetli Eğitim Yöntemleri
Düşük Hassasiyetli Eğitim Yöntemleri
Accelerate, TransformersEngine ve torchao paketleri aracılığıyla, belirtilen desteklenen donanımlar üzerinde düşük hassasiyetli yöntemlerle eğitim yapmayı sağlayan entegrasyonlar sunar. Bu doküman, hangi donanımların desteklendiğini, Accelerator bileşeninizi düşük hassasiyetli yöntemlerden yararlanacak şekilde nasıl yapılandıracağınızı ve eğitim sırasında neler beklemeniz gerektiğini anlamanıza yardımcı olacaktır.
FP8 üzerinde eğitimin ne anlama geldiği
PyTorch ve Accelerate ile FP8'de eğitimin inceliklerini daha ayrıntılı incelemek için, bunun neden zor olabileceğini açıklayan concept_guide dokümanına göz atın. Ancak özünde, BF16 ile eğitim yapmak yerine, bir modelin eğitiminin bazı (veya tüm) yönleri 16 bit yerine 8 bit kullanılarak gerçekleştirilebilir. Zorluk, bunu son performansı düşürmeden yapmaktır.
Bu özellik yalnızca belirli NVIDIA donanımlarında etkinleştirilir, bunlar:
- 3000 serisi tüketici grafik kartlarından (4090 gibi) sonraki her şey
- Hopper tabanlı GPU mimarileri (örneğin
H100veH200)
Bunun sonucunda, eğitimin bazı kısımları için gereken bellek yarıya indirildiğinden kullanılan bellekte bir azalma ve belirli katmanları FP8 destekli olanlarla değiştirebilen daha büyük modellerde gözlemlenmesi gereken bir de verimlilik artışı olacaktır.
Hızlandırıcıyı Yapılandırma
Şu anda FP8 için aktif olarak sürdürülen iki backend desteklenmektedir (TransformersEngine ve torchao); her birinin farklı yetenekleri ve yapılandırmaları vardır.
Her ikisini kullanmak için aynı temel API kullanılır. Karmaşıklık hassasiyeti sorulduğunda accelerate config sırasında Accelerator'a mixed_precision="fp8" parametresini geçin veya config.yaml dosyanızda mixed_precision anahtarı olarak ekleyin:
from accelerate import Accelerator
accelerator = Accelerator(mixed_precision="fp8")Bir backend belirtmek (ve FP8 karma hassasiyet kurulumunun diğer kısımlarını özelleştirmek) için utils.AORecipeKwargs veya utils.TERecipeKwargs gibi RecipeKwargs veri sınıflarından birini kullanabilirsiniz; bunu ayrıca yapılandırma dosyanızda yaml içinde veya accelerate launch sırasında da açıklayabilirsiniz. Yeni projeler için TransformersEngine veya torchao kullanmanızı öneririz:
from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs, AORecipeKwargs
# Use TransformersEngine
kwargs = [TERecipeKwargs()]
# Or to use torchao
# kwargs = [AORecipeKwargs()]
accelerator = Accelerator(mixed_precision="fp8", kwarg_handlers=kwargs)mixed_precision: fp8
fp8_config:
amax_compute_algo: max
amax_history_len: 1024
backend: TE
fp8_format: HYBRID
interval: 1
margin: 0
override_linear_precision: (false, false, false)
use_autocast_during_eval: falseTransformersEngine Yapılandırması
TransformersEngine, FP8 hesaplamalarının nasıl ve ne şekilde yapılacağını özelleştirmek için birçok seçenek sunar. Desteklenen argümanların tam listesi ve anlamları NVIDIA’nın belgelerinde yer almakta olup, kolaylığınız için FP8KwargsHandler’in docstring’inde de tekrarlanmıştır.
Accelerate makul varsayılan değerler ayarlamaya çalışır, ancak çeşitli parametreleri kendiniz keşfedip ayarlamanız potansiyel olarak daha iyi performans sağlayabilir.
Bunu kullanmak için backend="te" belirtin ve kwarg işleyicinizin bir parçası olarak istediğiniz argümanları değiştirin:
from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs
kwargs = [TERecipeKwargs(...)]
accelerator = Accelerator(mixed_precision="fp8", kwargs_handlers=kwargs)Veya --fp8_backend=te ... ile accelerate launch sırasında. İlgili argümanları görmek için accelerate launch --fp8_backend=te -h kullanın.
Benzer şekilde bu, config.yaml dosyanızda da ayarlanabilir:
mixed_precision: fp8
fp8_config:
amax_compute_algo: max
amax_history_len: 1024
backend: TE
fp8_format: HYBRID
interval: 1
margin: 0
override_linear_precision: (false, false, false)
use_autocast_during_eval: falsetorchao yapılandırması
torchao, PyTorch tabanlı ve düzenlenebilir bir FP8 arka ucudur; önceki iki motorla karşılaştırıldığında daha erişilebilir olmayı hedefler. ao için önceki iki motordan temel farklardan biri, sayısal kararlılık açısından modeldeki ilk ve son katmanların normal hassasiyette (FP32 veya BF16) tutulmasının, diğer katmanların ise FP8’e indirgenmesinin genel olarak daha iyi sonuç vermesidir. Bu nedenle ao için bir yapılandırma biraz farklı görünür:
Not: bu API deneyseldir ve değişikliklere tabidir
from accelerate import Accelerator
from accelerate.utils import AORecipeKwargs, TorchDynamoPlugin, FullyShardedDataParallelPlugin
from torchao.float8 import Float8LinearConfig
fsdp2_plugin = FullyShardedDataParallelPlugin(
fsdp_version=2,
cpu_ram_efficient_loading=False, # CPU RAM efficient loading CANNOT work with fp8 torchao
fsdp_auto_wrap_policy="TRANSFORMER_BASED_WRAP",
)
dynamo_plugin = TorchDynamoPlugin(
backend="inductor",
use_regional_compilation=True,
)
fp8_config = Float8LinearConfig(
enable_fsdp_float8_all_gather=True, # Use FP8 all_gather in FSDP2
pad_inner_dim=True,
)
kwargs = [AORecipeKwargs(
config=fp8_config
)]
accelerator = Accelerator(
mixed_precision="fp8",
fsdp_plugin=fsdp2_plugin,
dynamo_plugin=dynamo_plugin,
kwarg_handlers=kwargs,
)Veya --fp8_backend=ao ... ile accelerate launch sırasında. İlgili argümanları görmek için accelerate launch --fp8_backend=ao -h komutunu kullanın.
Benzer şekilde, bu config.yaml içinde ayarlanabilir:
mixed_precision: fp8
fsdp_config:
fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
fsdp_cpu_ram_efficient_loading: false
fsdp_version: 2
fp8_config:
backend: AO
pad_inner_dim: true
enable_fsdp_float8_all_gather: true
dynamo_config:
dynamo_backend: INDUCTOR
dynamo_use_regional_compilation: trueKullanılacak belirli parametreler hakkında daha fazla bilgi için lütfen resmi torchao deposuna bakın.
Örnek Hayvanat Bahçesi
Accelerate deposunda, hem accelerate hem de onun altındaki uygulamasıyla FP8 ile eğitim gösteren örnekler bulunmaktadır. Şu anda aşağıdakileri gösteren betikleri destekliyoruz:
- Tek GPU
- Dağıtık Veri Paralelliği (Çoklu GPU)
- Tamamen Parçalı Veri Paralelliği
- DeepSpeed ZeRO 1'den 3'e
Daha fazla bilgi için buraya bakın
Daha Fazla Okuma
FP8 ile eğitim hakkında daha fazla bilgi edinmek için aşağıdaki kaynaklara göz atın:
- Kavram kılavuzumuz, TransformersEngine ve torchao hakkında daha fazla ayrıntı
transformers-enginebelgeleritorchaobelgeleri