# طرق التدريب بدقة منخفضة

توفر Accelerate تكاملات لتدريب النماذج باستخدام طرق الدقة المنخفضة عبر الأجهزة المدعومة المحددة، وذلك من خلال حزم `TransformersEngine` و`torchao`. ستساعدك هذه الوثيقة على فهم الأجهزة المدعومة، وكيفية تكوين [Accelerator](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator) الخاص بك للاستفادة من طرق الدقة المنخفضة، وما يمكن توقعه أثناء التدريب.

## ما يعنيه التدريب على FP8

لاستكشاف المزيد من التفاصيل الدقيقة في التدريب باستخدام FP8 مع PyTorch وAccelerate، راجع [concept_guide](../concept_guides/low_precision_training) حول سبب صعوبة ذلك. ولكن في جوهر الأمر، بدلاً من التدريب باستخدام BF16، يمكن تنفيذ بعض (أو جميع) جوانب تدريب النموذج باستخدام 8 بتات بدلاً من 16. والتحدّي يكمن في تحقيق ذلك دون الإضرار بالأداء النهائي.

يتم تفعيل هذا الخيار فقط على أجهزة NVIDIA محددة، وهي:

* كل ما يأتي بعد بطاقات الرسوميات الاستهلاكية من سلسلة 3000 (مثل 4090)
* معماريات وحدات معالجة الرسوميات القائمة على هوبر (مثل `H100` و`H200`)

ما سينتج عن ذلك هو بعض التقليل في الذاكرة المستخدمة (لأننا قلصنا الذاكرة المطلوبة إلى النصف لبعض أجزاء التدريب) كما ينبغي ملاحظة زيادة في الإنتاجية *should* أيضاً بالنسبة للنماذج الأكبر التي يمكنها استبدال بعض الطبقات بطبقات تدعم FP8.

## تهيئة المُسرِّع

حاليًا، يتم دعم واجهتي خلفية نشطتين للصيانة الخاصة بـ FP8 (`TransformersEngine` و`torchao`)، ولكل منهما قدرات وإعدادات مختلفة.

لاستخدام أيٍّ منهما، يتم استخدام نفس واجهة برمجة التطبيقات الأساسية. ما عليك سوى تمرير `mixed_precision="fp8"` إلى [Accelerator](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator)، أو أثناء `accelerate config` عند السؤال عن الدقة المختلطة، أو كجزء من ملف `config.yaml` الخاص بك في المفتاح `mixed_precision`:

```{python}
from accelerate import Accelerator
accelerator = Accelerator(mixed_precision="fp8")
```

لتحديد واجهة خلفية (وتخصيص أجزاء أخرى من إعداد الدقة المختلطة FP8)، يمكنك استخدام أحد فئات البيانات `RecipeKwargs` مثل [utils.AORecipeKwargs](/docs/accelerate/v1.16.0/ar/package_reference/fp8#accelerate.utils.AORecipeKwargs) أو [utils.TERecipeKwargs](/docs/accelerate/v1.16.0/ar/package_reference/fp8#accelerate.utils.TERecipeKwargs)؛ كما يمكنك توضيح ذلك في ملف الإعداد الخاص بك `yaml`/أثناء `accelerate launch`. ننصح باستخدام `TransformersEngine` أو `torchao` للمشاريع الجديدة:

```{python}
from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs, AORecipeKwargs
# Use TransformersEngine
kwargs = [TERecipeKwargs()]
# Or to use torchao
# kwargs = [AORecipeKwargs()]
accelerator = Accelerator(mixed_precision="fp8", kwarg_handlers=kwargs)
```

```{yaml}
mixed_precision: fp8
fp8_config:
  amax_compute_algo: max
  amax_history_len: 1024
  backend: TE
  fp8_format: HYBRID
  interval: 1
  margin: 0
  override_linear_precision: (false, false, false)
  use_autocast_during_eval: false
```

## تهيئة TransformersEngine

يوفر TransformersEngine العديد من الخيارات لتخصيص كيفية وأداء عمليات الحسابات بدقة FP8. تتوفر قائمة كاملة بالحجج المدعومة ومعانيها في [توثيق NVIDIA](https://docs.nvidia.com/deeplearning/transformer-engine/api/common.html)، ومع ذلك فقد أُعيدت صياغتها كجزء من سلسلة التوثيق (docstring) الخاصة بـ`FP8KwargsHandler` لراحتكم.

يحاول Accelerate ضبط قيم افتراضية معقولة، لكن استكشاف المعلمات المختلفة وتعديلها بنفسك قد يؤدي إلى أداء أفضل محتملاً.

لاستخدامه، حدد `backend="te"` وعدّل أيًا من الحجج التي تريد تعديلها كجزء من معالج معاملات kwarg الخاص بك:

```{python}
from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs
kwargs = [TERecipeKwargs(...)]
accelerator = Accelerator(mixed_precision="fp8", kwargs_handlers=kwargs)
```

أو أثناء `accelerate launch` عبر `--fp8_backend=te ...`. استخدم `accelerate launch --fp8_backend=te -h` لعرض الحجج ذات الصلة.

وبالمثل، يمكن ضبط ذلك في ملف `config.yaml` الخاص بك:

```{yaml}
mixed_precision: fp8
fp8_config:
    amax_compute_algo: max
    amax_history_len: 1024
    backend: TE
    fp8_format: HYBRID
    interval: 1
    margin: 0
    override_linear_precision: (false, false, false)
    use_autocast_during_eval: false
```

## تهيئة `torchao`

`torchao` هو واجهة خلفية قابلة للتعديل تعمل بواسطة [PyTorch](https://github.com/pytorch/ao/tree/main/torchao/float8) وتهدف إلى أن تكون أسهل في التعامل من المحركين السابقين. أحد الفروق الجوهرية بين `ao` والمحركين السابقين هو أنه، من أجل الاستقرار العددي، ثبت أن من الأفضل عمومًا إبقاء الطبقة الأولى *والأخيرة* في النموذج بدقة اعتيادية (سواء FP32 أو BF16)، بينما تُكمَّم الطبقات الأخرى إلى FP8. ونتيجةً لذلك، يبدو تكوين `ao` بشكل مختلف قليلًا:

> ملاحظة: هذه الواجهة البرمجية تجريبية وقابلة للتغيير

```{python}
from accelerate import Accelerator
from accelerate.utils import AORecipeKwargs, TorchDynamoPlugin, FullyShardedDataParallelPlugin
from torchao.float8 import Float8LinearConfig

fsdp2_plugin = FullyShardedDataParallelPlugin(
  fsdp_version=2,
  cpu_ram_efficient_loading=False, # CPU RAM efficient loading CANNOT work with fp8 torchao
  fsdp_auto_wrap_policy="TRANSFORMER_BASED_WRAP",
)
dynamo_plugin = TorchDynamoPlugin(
  backend="inductor",
  use_regional_compilation=True,
)
fp8_config = Float8LinearConfig(
  enable_fsdp_float8_all_gather=True, # Use FP8 all_gather in FSDP2
  pad_inner_dim=True,
)
kwargs = [AORecipeKwargs(
  config=fp8_config
)]
accelerator = Accelerator(
  mixed_precision="fp8",
  fsdp_plugin=fsdp2_plugin,
  dynamo_plugin=dynamo_plugin,
  kwarg_handlers=kwargs,
)
```

أو أثناء `accelerate launch` عبر `--fp8_backend=ao ...`. استخدم `accelerate launch --fp8_backend=ao -h` لعرض الحجج ذات الصلة.

وبالمثل، يمكن ضبط ذلك في `config.yaml`:

```{yaml}
mixed_precision: fp8
fsdp_config:
  fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
  fsdp_cpu_ram_efficient_loading: false
  fsdp_version: 2
fp8_config:
  backend: AO
  pad_inner_dim: true
  enable_fsdp_float8_all_gather: true
dynamo_config:
  dynamo_backend: INDUCTOR
  dynamo_use_regional_compilation: true
```

للاطلاع على مزيد من التفاصيل حول المعلمات المحددة التي يجب استخدامها، يرجى الاطلاع على مستودع `torchao` الرسمي.

## مثال حديقة الحيوان

تتوفر لدينا أمثلة توضح التدريب باستخدام FP8 مع accelerate وتنفيذه الأساسي المتاح في مستودع accelerate. حالياً، ندعم سكريبتات توضح:

* وحدة معالجة رسومات واحدة
* التوازي في البيانات الموزعة (متعدد وحدات معالجة الرسوميات)
* التوازي الكامل للبيانات المجزأة
* DeepSpeed ZeRO من 1 إلى 3

اعرف المزيد [هنا](https://github.com/huggingface/accelerate/tree/main/benchmarks/fp8)

## قراءات إضافية

للتعرف على المزيد حول التدريب في FP8، يرجى الاطلاع على الموارد التالية:

* [دليل المفاهيم لدينا](../concept_guides/low_precision_training) الذي يتناول المزيد من التفاصيل حول TransformersEngine وtorchao
* [توثيق `transformers-engine`](https://docs.nvidia.com/deeplearning/transformer-engine/api/common.html)
* [توثيق `torchao`](https://github.com/pytorch/ao/tree/main/torchao/float8)

