Accelerate documentation
طرق التدريب بدقة منخفضة
طرق التدريب بدقة منخفضة
توفر Accelerate تكاملات لتدريب النماذج باستخدام طرق الدقة المنخفضة عبر الأجهزة المدعومة المحددة، وذلك من خلال حزم TransformersEngine وtorchao. ستساعدك هذه الوثيقة على فهم الأجهزة المدعومة، وكيفية تكوين Accelerator الخاص بك للاستفادة من طرق الدقة المنخفضة، وما يمكن توقعه أثناء التدريب.
ما يعنيه التدريب على FP8
لاستكشاف المزيد من التفاصيل الدقيقة في التدريب باستخدام FP8 مع PyTorch وAccelerate، راجع concept_guide حول سبب صعوبة ذلك. ولكن في جوهر الأمر، بدلاً من التدريب باستخدام BF16، يمكن تنفيذ بعض (أو جميع) جوانب تدريب النموذج باستخدام 8 بتات بدلاً من 16. والتحدّي يكمن في تحقيق ذلك دون الإضرار بالأداء النهائي.
يتم تفعيل هذا الخيار فقط على أجهزة NVIDIA محددة، وهي:
- كل ما يأتي بعد بطاقات الرسوميات الاستهلاكية من سلسلة 3000 (مثل 4090)
- معماريات وحدات معالجة الرسوميات القائمة على هوبر (مثل
H100وH200)
ما سينتج عن ذلك هو بعض التقليل في الذاكرة المستخدمة (لأننا قلصنا الذاكرة المطلوبة إلى النصف لبعض أجزاء التدريب) كما ينبغي ملاحظة زيادة في الإنتاجية should أيضاً بالنسبة للنماذج الأكبر التي يمكنها استبدال بعض الطبقات بطبقات تدعم FP8.
تهيئة المُسرِّع
حاليًا، يتم دعم واجهتي خلفية نشطتين للصيانة الخاصة بـ FP8 (TransformersEngine وtorchao)، ولكل منهما قدرات وإعدادات مختلفة.
لاستخدام أيٍّ منهما، يتم استخدام نفس واجهة برمجة التطبيقات الأساسية. ما عليك سوى تمرير mixed_precision="fp8" إلى Accelerator، أو أثناء accelerate config عند السؤال عن الدقة المختلطة، أو كجزء من ملف config.yaml الخاص بك في المفتاح mixed_precision:
from accelerate import Accelerator
accelerator = Accelerator(mixed_precision="fp8")لتحديد واجهة خلفية (وتخصيص أجزاء أخرى من إعداد الدقة المختلطة FP8)، يمكنك استخدام أحد فئات البيانات RecipeKwargs مثل utils.AORecipeKwargs أو utils.TERecipeKwargs؛ كما يمكنك توضيح ذلك في ملف الإعداد الخاص بك yaml/أثناء accelerate launch. ننصح باستخدام TransformersEngine أو torchao للمشاريع الجديدة:
from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs, AORecipeKwargs
# Use TransformersEngine
kwargs = [TERecipeKwargs()]
# Or to use torchao
# kwargs = [AORecipeKwargs()]
accelerator = Accelerator(mixed_precision="fp8", kwarg_handlers=kwargs)mixed_precision: fp8
fp8_config:
amax_compute_algo: max
amax_history_len: 1024
backend: TE
fp8_format: HYBRID
interval: 1
margin: 0
override_linear_precision: (false, false, false)
use_autocast_during_eval: falseتهيئة TransformersEngine
يوفر TransformersEngine العديد من الخيارات لتخصيص كيفية وأداء عمليات الحساب بدقة FP8. تتوفر قائمة كاملة بالحجج المدعومة ومعانيها في توثيق NVIDIA، ومع ذلك فقد أُعيدت صياغتها كجزء من سلسلة التوثيق (docstring) الخاصة بـFP8KwargsHandler لراحتكم.
يحاول Accelerate ضبط قيم افتراضية معقولة، لكن استكشاف المعلمات المختلفة وتعديلها بنفسك قد يؤدي إلى أداء أفضل محتملاً.
لاستخدامه، حدد backend="te" وعدّل أيًا من الحجج التي تريد تعديلها كجزء من معالج معاملات kwarg الخاص بك:
from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs
kwargs = [TERecipeKwargs(...)]
accelerator = Accelerator(mixed_precision="fp8", kwargs_handlers=kwargs)أو أثناء accelerate launch عبر --fp8_backend=te .... استخدم accelerate launch --fp8_backend=te -h لعرض الحجج ذات الصلة.
وبالمثل، يمكن ضبط ذلك في ملف config.yaml الخاص بك:
mixed_precision: fp8
fp8_config:
amax_compute_algo: max
amax_history_len: 1024
backend: TE
fp8_format: HYBRID
interval: 1
margin: 0
override_linear_precision: (false, false, false)
use_autocast_during_eval: falseتهيئة torchao
torchao هو واجهة خلفية قابلة للتعديل تعمل بواسطة PyTorch وتهدف إلى أن تكون أسهل في التعامل من المحركين السابقين. أحد الفروق الجوهرية بين ao والمحركين السابقين هو أنه، من أجل الاستقرار العددي، ثبت أن من الأفضل عمومًا إبقاء الطبقة الأولى والأخيرة في النموذج بدقة اعتيادية (سواء FP32 أو BF16)، ثم تكميم الطبقات الأخرى إلى FP8. ونتيجةً لذلك، يبدو تكوين ao بشكل مختلف قليلًا:
ملاحظة: هذه الواجهة البرمجية تجريبية وقابلة للتغيير
from accelerate import Accelerator
from accelerate.utils import AORecipeKwargs, TorchDynamoPlugin, FullyShardedDataParallelPlugin
from torchao.float8 import Float8LinearConfig
fsdp2_plugin = FullyShardedDataParallelPlugin(
fsdp_version=2,
cpu_ram_efficient_loading=False, # CPU RAM efficient loading CANNOT work with fp8 torchao
fsdp_auto_wrap_policy="TRANSFORMER_BASED_WRAP",
)
dynamo_plugin = TorchDynamoPlugin(
backend="inductor",
use_regional_compilation=True,
)
fp8_config = Float8LinearConfig(
enable_fsdp_float8_all_gather=True, # Use FP8 all_gather in FSDP2
pad_inner_dim=True,
)
kwargs = [AORecipeKwargs(
config=fp8_config
)]
accelerator = Accelerator(
mixed_precision="fp8",
fsdp_plugin=fsdp2_plugin,
dynamo_plugin=dynamo_plugin,
kwarg_handlers=kwargs,
)أو أثناء accelerate launch عبر --fp8_backend=ao .... استخدم accelerate launch --fp8_backend=ao -h لعرض الحجج ذات الصلة.
وبالمثل، يمكن ضبط ذلك في config.yaml:
mixed_precision: fp8
fsdp_config:
fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
fsdp_cpu_ram_efficient_loading: false
fsdp_version: 2
fp8_config:
backend: AO
pad_inner_dim: true
enable_fsdp_float8_all_gather: true
dynamo_config:
dynamo_backend: INDUCTOR
dynamo_use_regional_compilation: trueللاطلاع على مزيد من التفاصيل حول المعلمات المحددة التي يجب استخدامها، يرجى الاطلاع على مستودع torchao الرسمي.
مثال حديقة الحيوان
تتوفر لدينا أمثلة تُظهر التدريب باستخدام FP8 مع accelerate وتنفيذه الأساسي المتاح في مستودع accelerate. حاليًا، ندعم سكريبتات تُظهر:
- وحدة معالجة رسومات واحدة
- التوازي في البيانات الموزعة (متعدد وحدات معالجة الرسوميات)
- التوازي الكامل للبيانات المجزأة
- DeepSpeed ZeRO من 1 إلى 3
اعرف المزيد هنا
قراءات إضافية
للتعرف على المزيد حول التدريب في FP8، يرجى الاطلاع على الموارد التالية:
- دليل المفاهيم لدينا الذي يتناول المزيد من التفاصيل حول TransformersEngine وtorchao
- توثيق
transformers-engine - توثيق
torchao