# FP8

فيما يلي الدوال والفئات المتعلقة بتنفيذ FP8 الأساسي

## TERecipeKwargs[[accelerate.utils.TERecipeKwargs]]

#### accelerate.utils.TERecipeKwargs[[accelerate.utils.TERecipeKwargs]]

```python
accelerate.utils.TERecipeKwargs(use_autocast_during_eval: bool | None = None, margin: int | None = None, interval: int | None = None, fp8_format: typing.Literal['HYBRID', 'E4M3', 'E5M2'] = None, amax_history_len: int | None = None, amax_compute_algo: typing.Literal['max', 'most_recent'] = None, override_linear_precision: tuple[bool, bool, bool] = None, use_mxfp8_block_scaling: bool | None = None)
```

[المصدر](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/dataclasses.py#L333)

**المعاملات:**

use_autocast_during_eval (`bool`، *اختياري*، الافتراضي `False`) : ما إذا كان سيتم استخدام FP8 autocast أثناء وضع التقييم. بشكل عام، يتم العثور على مقاييس أفضل عندما يكون هذا `False`.

margin (`int`، *اختياري*، الافتراضي 0) : الهامش المستخدم لتدرج التدرج.

interval (`int`، *اختياري*، الافتراضي 1) : الفترة المستخدمة لتحديد تكرار إعادة حساب عامل التوسيع.

fp8_format (`str`، *اختياري*، الافتراضي "HYBRID") : التنسيق المستخدم لوصفة FP8. يجب أن يكون أحد `HYBRID` أو `E4M3` أو `E5M2`. (بشكل عام `HYBRID` للتدريب، و`E4M3` أو `E5M2` للتقييم)

amax_history_len (`int`، *اختياري*، الافتراضي 1024) : طول السجل المستخدم لحساب عامل التوسيع

amax_compute_algo (`str`، *اختياري*، الافتراضي "most_recent") : الخوارزمية المستخدمة لحساب عامل التوسيع. يجب أن تكون إما `max` أو `most_recent`.

override_linear_precision (`tuple` من ثلاثة `bool`، *اختياري*، الافتراضي `(False, False, False)`) : ما إذا كان سيتم تنفيذ عمليات GEMM الخاصة بـ `fprop` و`dgrad` و`wgrad` بدقة أعلى أم لا.

استخدم هذا الكائن في [Accelerator](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator) لديك لتخصيص تهيئة الوصفة للتدريب بدقة مختلطة FP8 باستخدام `transformer-engine`.

لمزيد من المعلومات حول args، يُرجى الرجوع إلى [التوثيق](https://docs.nvidia.com/deeplearning/transformer-engine/user-guide/api/common.html) الخاص بواجهة برمجة التطبيقات.

```python
from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs

kwargs = TERecipeKwargs(fp8_format="HYBRID")
accelerator = Accelerator(mixed_precision="fp8", kwargs_handlers=[kwargs])
```

## AORecipeKwargs[[accelerate.utils.AORecipeKwargs]]

#### accelerate.utils.AORecipeKwargs[[accelerate.utils.AORecipeKwargs]]

```python
accelerate.utils.AORecipeKwargs(config: ForwardRef('Float8LinearConfig') | None = None, module_filter_func: typing.Callable | None = None, pad_inner_dim: bool | None = None, enable_fsdp_float8_all_gather: bool | None = None)
```

[المصدر](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/dataclasses.py#L285)

**المعاملات:**

config (`torchao.float8.Float8LinearConfig`، *اختياري*، القيمة الافتراضية `None`) : إعدادات التدريب باستخدام FP8. إذا كانت `None`، فسيتم إنشاء إعداد افتراضي بقيم معقولة لمعظم حالات الاستخدام: - `pad_inner_dim=True`: يضيف حشوة (padding) لأبعاد المصفوفة بحيث تكون قابلة للقسمة على 16، وهو أمر مطلوب لعمليات `torch._scaled_mm` لمنع أخطاء وقت التشغيل. - `enable_fsdp_float8_all_gather=True`: يفعّل عملية all-gather باستخدام FP8 لـ FSDP2. يوفر هذا توفيرًا في عرض نطاق الذاكرة من خلال تحويل المعلمات قبل عملية all-gather، مما يوفر 50% من عرض النطاق مقارنةً بـ BF16. يمكنك تجاوز هذه القيم الافتراضية بتوفير مثالك الخاص من `Float8LinearConfig`.

module_filter_func (`Callable`، *اختياري*، القيمة الافتراضية `None`) : دالة اختيارية يجب أن تستقبل وحدة واسم طبقة، وتعيد قيمة منطقية تشير إلى ما إذا كان يجب تحويل الوحدة إلى FP8. القيمة الافتراضية هي `accelerate.utils.ao.filter_linear_layers`. راجعها للحصول على مثال.

استخدم هذا الكائن في [Accelerator](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator) لديك لتخصيص تهيئة وصفة التدريب بدقة مختلطة FP8 باستخدام `torchao` FP8.

## convert_model[[accelerate.utils.convert_model]]

#### accelerate.utils.convert_model[[accelerate.utils.convert_model]]

```python
accelerate.utils.convert_model(model, to_transformer_engine = True, _convert_linear = True, _convert_ln = True)
```

[المصدر](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/transformer_engine.py#L26)

يحوّل بشكل تكراري طبقات الخطية وطبقات تطبيع الطبقات في النموذج إلى نظيرتها في `transformers_engine`.

## has_transformer_engine_layers[[accelerate.utils.has_transformer_engine_layers]]

#### accelerate.utils.has_transformer_engine_layers[[accelerate.utils.has_transformer_engine_layers]]

```python
accelerate.utils.has_transformer_engine_layers(model)
```

[المصدر](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/transformer_engine.py#L95)

يعيد ما إذا كان النموذج المعني يحتوي على طبقة `transformer_engine` أم لا.

## contextual_fp8_autocast[[accelerate.utils.contextual_fp8_autocast]]

#### accelerate.utils.contextual_fp8_autocast[[accelerate.utils.contextual_fp8_autocast]]

```python
accelerate.utils.contextual_fp8_autocast(model_forward, fp8_recipe, use_during_eval = False)
```

[المصدر](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/transformer_engine.py#L118)

غلاف لطريقة forward الخاصة بنموذج لتطبيق FP8 autocast. إنه واعٍ بالسياق، مما يعني أنه سيعطّل FP8 autocast افتراضيًا أثناء وضع eval، وهو ما يكون عمومًا أفضل للحصول على مقاييس أكثر دقة.

## apply_fp8_autowrap[[accelerate.utils.apply_fp8_autowrap]]

#### accelerate.utils.apply_fp8_autowrap[[accelerate.utils.apply_fp8_autowrap]]

```python
accelerate.utils.apply_fp8_autowrap(model, fp8_recipe_handler)
```

[المصدر](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/transformer_engine.py#L142)

يطبّق مدير سياق FP8 على طريقة الأمامية (forward) للنموذج

