Accelerate documentation
FP8
FP8
فيما يلي الدوال والفئات المتعلقة بتنفيذ FP8 الأساسي
TERecipeKwargs
فئة accelerate.utils.TERecipeKwargs
< source >( use_autocast_during_eval: bool | None = Nonemargin: int | None = Noneinterval: int | None = Nonefp8_format: typing.Literal['HYBRID', 'E4M3', 'E5M2'] = Noneamax_history_len: int | None = Noneamax_compute_algo: typing.Literal['max', 'most_recent'] = Noneoverride_linear_precision: tuple[bool, bool, bool] = Noneuse_mxfp8_block_scaling: bool | None = None )
المعاملات
- use_autocast_during_eval (
bool، اختياري، الافتراضيFalse) — ما إذا كان سيتم استخدام FP8 autocast أثناء وضع التقييم. بشكل عام، يتم العثور على مقاييس أفضل عندما يكون هذاFalse. - margin (
int، اختياري، القيمة الافتراضية 0) — الهامش المستخدم لتدرّج التدرّج (gradient scaling). - interval (
int، اختياري، الافتراضي 1) — الفاصل الزمني المستخدم لتحديد تكرار إعادة حساب عامل التوسيع. - fp8_format (
str، اختياري، الافتراضي “HYBRID”) — الصيغة المستخدمة لوصفة FP8. يجب أن تكون واحدة منHYBRIDأوE4M3أوE5M2. (بشكل عامHYBRIDللتدريب، وE4M3أوE5M2للتقييم) - amax_history_len (
int، اختياري، الافتراضي 1024) — طول السجل المستخدم لحساب عامل التوسيع - amax_compute_algo (
str، اختياري، الافتراضي “most_recent”) — الخوارزمية المستخدمة لحساب عامل التوسع. يجب أن تكون إماmaxأوmost_recent. - override_linear_precision (
tupleمن ثلاثةbool، اختياري، الافتراضي(False, False, False)) — ما إذا كان سيتم تنفيذ عمليات GEMM الخاصة بـfpropوdgradوwgradبدقة أعلى.
استخدم هذا الكائن في Accelerator لديك لتخصيص تهيئة وصفة التدريب بدقة مختلطة FP8 باستخدام transformer-engine.
لمزيد من المعلومات حول args، يُرجى الرجوع إلى التوثيق الخاص بواجهة برمجة التطبيقات.
AORecipeKwargs
فئة accelerate.utils.AORecipeKwargs
< source >( config: ForwardRef('Float8LinearConfig') | None = Nonemodule_filter_func: typing.Callable | None = Nonepad_inner_dim: bool | None = Noneenable_fsdp_float8_all_gather: bool | None = None )
المعاملات
- config (
torchao.float8.Float8LinearConfig, اختياري, الافتراضي هوNone) — إعدادات التدريب باستخدام FP8. إذا كانتNone, سيتم إنشاء إعداد افتراضي بقيم معقولة لمعظم حالات الاستخدام:pad_inner_dim=True: يُضيف حشواً لأبعاد المصفوفة بحيث تكون قابلة للقسمة على 16، وهو شرط مطلوب لعملياتtorch._scaled_mmلمنع أخطاء وقت التشغيل.enable_fsdp_float8_all_gather=True: يُفعّل FP8 all-gather لـ FSDP2. يوفر هذا توفيرًا في عرض نطاق الذاكرة من خلال تحويل المعاملات قبل عملية all-gather، مما يوفر 50% من عرض النطاق مقارنةً بـ BF16.
يمكنك تجاوز هذه القيم الافتراضية من خلال توفير مثالك الخاص من
Float8LinearConfig. - module_filter_func (
Callable، اختياري، الافتراضيNone) — دالة اختيارية يجب أن تستقبل وحدة (module) واسم طبقة (layer)، وتعيد قيمة منطقية (boolean) تشير إلى ما إذا كان يجب تحويل الوحدة إلى FP8. القيمة الافتراضية هيaccelerate.utils.ao.filter_linear_layers. راجعها كمثال.
استخدم هذا الكائن في Accelerator لديك لتخصيص تهيئة وصفة التدريب بدقة مختلطة FP8 باستخدام torchao FP8.
convert_model
accelerate.utils.convert_model
< source >( modelto_transformer_engine = True_convert_linear = True_convert_ln = True )
يحوّل بشكل تكراري طبقات الخطية وطبقات تطبيع الطبقات في النموذج إلى نظيرتها في transformers_engine.
has_transformer_engine_layers
يعيد ما إذا كان النموذج المعني يحتوي على طبقة transformer_engine أم لا.
contextual_fp8_autocast
accelerate.utils.contextual_fp8_autocast
< source >( model_forwardfp8_recipeuse_during_eval = False )
غلاف لطريقة forward الخاصة بالنموذج لتطبيق FP8 autocast. إنه واعٍ بالسياق، مما يعني أنه سيُعطّل FP8 autocast افتراضيًا أثناء وضع eval، وهو ما يكون عمومًا أفضل للحصول على مقاييس أكثر دقة.
apply_fp8_autowrap
يطبّق مدير سياق FP8 على طريقة الأمامية (forward) للنموذج