Accelerate documentation

FP8

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

FP8

فيما يلي الدوال والفئات المتعلقة بتنفيذ FP8 الأساسي

TERecipeKwargs

فئة accelerate.utils.TERecipeKwargs

< >

( use_autocast_during_eval: bool | None = Nonemargin: int | None = Noneinterval: int | None = Nonefp8_format: typing.Literal['HYBRID', 'E4M3', 'E5M2'] = Noneamax_history_len: int | None = Noneamax_compute_algo: typing.Literal['max', 'most_recent'] = Noneoverride_linear_precision: tuple[bool, bool, bool] = Noneuse_mxfp8_block_scaling: bool | None = None )

المعاملات

  • use_autocast_during_eval (bool، اختياري، الافتراضي False) — ما إذا كان سيتم استخدام FP8 autocast أثناء وضع التقييم. بشكل عام، يتم العثور على مقاييس أفضل عندما يكون هذا False.
  • margin (int، اختياري، القيمة الافتراضية 0) — الهامش المستخدم لتدرّج التدرّج (gradient scaling).
  • interval (int، اختياري، الافتراضي 1) — الفاصل الزمني المستخدم لتحديد تكرار إعادة حساب عامل التوسيع.
  • fp8_format (str، اختياري، الافتراضي “HYBRID”) — الصيغة المستخدمة لوصفة FP8. يجب أن تكون واحدة من HYBRID أو E4M3 أو E5M2. (بشكل عام HYBRID للتدريب، وE4M3 أو E5M2 للتقييم)
  • amax_history_len (int، اختياري، الافتراضي 1024) — طول السجل المستخدم لحساب عامل التوسيع
  • amax_compute_algo (str، اختياري، الافتراضي “most_recent”) — الخوارزمية المستخدمة لحساب عامل التوسع. يجب أن تكون إما max أو most_recent.
  • override_linear_precision (tuple من ثلاثة bool، اختياري، الافتراضي (False, False, False)) — ما إذا كان سيتم تنفيذ عمليات GEMM الخاصة بـ fprop وdgrad وwgrad بدقة أعلى.

استخدم هذا الكائن في Accelerator لديك لتخصيص تهيئة وصفة التدريب بدقة مختلطة FP8 باستخدام transformer-engine.

لمزيد من المعلومات حول args، يُرجى الرجوع إلى التوثيق الخاص بواجهة برمجة التطبيقات.

from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs

kwargs = TERecipeKwargs(fp8_format="HYBRID")
accelerator = Accelerator(mixed_precision="fp8", kwargs_handlers=[kwargs])

AORecipeKwargs

فئة accelerate.utils.AORecipeKwargs

< >

( config: ForwardRef('Float8LinearConfig') | None = Nonemodule_filter_func: typing.Callable | None = Nonepad_inner_dim: bool | None = Noneenable_fsdp_float8_all_gather: bool | None = None )

المعاملات

  • config (torchao.float8.Float8LinearConfig, اختياري, الافتراضي هو None) — إعدادات التدريب باستخدام FP8. إذا كانت None, سيتم إنشاء إعداد افتراضي بقيم معقولة لمعظم حالات الاستخدام:
    • pad_inner_dim=True: يُضيف حشواً لأبعاد المصفوفة بحيث تكون قابلة للقسمة على 16، وهو شرط مطلوب لعمليات torch._scaled_mm لمنع أخطاء وقت التشغيل.
    • enable_fsdp_float8_all_gather=True: يُفعّل FP8 all-gather لـ FSDP2. يوفر هذا توفيرًا في عرض نطاق الذاكرة من خلال تحويل المعاملات قبل عملية all-gather، مما يوفر 50% من عرض النطاق مقارنةً بـ BF16.

    يمكنك تجاوز هذه القيم الافتراضية من خلال توفير مثالك الخاص من Float8LinearConfig.

  • module_filter_func (Callable، اختياري، الافتراضي None) — دالة اختيارية يجب أن تستقبل وحدة (module) واسم طبقة (layer)، وتعيد قيمة منطقية (boolean) تشير إلى ما إذا كان يجب تحويل الوحدة إلى FP8. القيمة الافتراضية هي accelerate.utils.ao.filter_linear_layers. راجعها كمثال.

استخدم هذا الكائن في Accelerator لديك لتخصيص تهيئة وصفة التدريب بدقة مختلطة FP8 باستخدام torchao FP8.

convert_model

accelerate.utils.convert_model

< >

( modelto_transformer_engine = True_convert_linear = True_convert_ln = True )

يحوّل بشكل تكراري طبقات الخطية وطبقات تطبيع الطبقات في النموذج إلى نظيرتها في transformers_engine.

has_transformer_engine_layers

accelerate.utils.has_transformer_engine_layers

< >

( model )

يعيد ما إذا كان النموذج المعني يحتوي على طبقة transformer_engine أم لا.

contextual_fp8_autocast

accelerate.utils.contextual_fp8_autocast

< >

( model_forwardfp8_recipeuse_during_eval = False )

غلاف لطريقة forward الخاصة بالنموذج لتطبيق FP8 autocast. إنه واعٍ بالسياق، مما يعني أنه سيُعطّل FP8 autocast افتراضيًا أثناء وضع eval، وهو ما يكون عمومًا أفضل للحصول على مقاييس أكثر دقة.

apply_fp8_autowrap

accelerate.utils.apply_fp8_autowrap

< >

( modelfp8_recipe_handler )

يطبّق مدير سياق FP8 على طريقة الأمامية (forward) للنموذج

Update on GitHub