Accelerate documentation

مُسرِّع

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

مُسرِّع

يُعدّ Accelerator الفئة الرئيسية لتمكين التدريب الموزّع على أي نوع من إعدادات التدريب. اقرأ شروحات إضافة Accelerator إلى كودك لمعرفة المزيد حول كيفية إضافة Accelerator إلى سكربت الخاص بك.

مُسرِّع

فئة accelerate.Accelerator

< >

( device_placement: bool = Truesplit_batches: bool = <object object at 0x7f7bf6a755a0>mixed_precision: PrecisionType | str | None = Nonegradient_accumulation_steps: int = 1cpu: bool = Falsedataloader_config: DataLoaderConfiguration | None = Nonedeepspeed_plugin: DeepSpeedPlugin | dict[str, DeepSpeedPlugin] | None = Nonefsdp_plugin: FullyShardedDataParallelPlugin | None = Nonetorch_tp_plugin: TorchTensorParallelPlugin | None = Nonemegatron_lm_plugin: MegatronLMPlugin | None = Nonerng_types: list[str | RNGType] | None = Nonelog_with: str | LoggerType | GeneralTracker | list[str | LoggerType | GeneralTracker] | None = Noneproject_dir: str | os.PathLike | None = Noneproject_config: ProjectConfiguration | None = Nonegradient_accumulation_plugin: GradientAccumulationPlugin | None = Nonestep_scheduler_with_optimizer: bool = Truekwargs_handlers: list[KwargsHandler] | None = Nonedynamo_backend: DynamoBackend | str | None = Nonedynamo_plugin: TorchDynamoPlugin | None = Nonedeepspeed_plugins: DeepSpeedPlugin | dict[str, DeepSpeedPlugin] | None = Noneparallelism_config: ParallelismConfig | None = None )

المعاملات

  • device_placement (bool، اختياري، القيمة الافتراضية True) — ما إذا كان المُسرِّع يجب أن يضع الكائنات على الجهاز (المُتجهات الناتجة عن مُحمِّل البيانات، النموذج، إلخ…).
  • mixed_precision (str, اختياري) — ما إذا كان سيتم استخدام التدريب بدقة مختلطة أم لا. اختر من بين ‘no’ و‘fp16’ و‘bf16’ أو ‘fp8’. سيكون الافتراضي هو القيمة الموجودة في متغير البيئة ACCELERATE_MIXED_PRECISION، والذي سيستخدم القيمة الافتراضية في إعدادات accelerate للنظام الحالي أو العلم المُمرَّر مع أمر accelerate.launch. يتطلب ‘fp8’ تثبيت transformers-engine.
  • gradient_accumulation_steps (int، اختياري، القيمة الافتراضية 1) — عدد الخطوات التي يجب أن تمر قبل تراكم التدرجات. يجب دمج قيمة أكبر من 1 مع Accelerator.accumulate. إذا لم تُمرَّر، فستتخذ القيمة الافتراضية من متغير البيئة ACCELERATE_GRADIENT_ACCUMULATION_STEPS. يمكن أيضًا تكوينها من خلال GradientAccumulationPlugin.
  • cpu (bool, اختياري) — ما إذا كان سيتم إجبار السكربت على التنفيذ على وحدة المعالجة المركزية (CPU). إذا تم تعيينه إلى True، سيتم تجاهل وحدة معالجة الرسومات (GPU) المتاحة وإجبار التنفيذ على عملية واحدة فقط.
  • dataloader_config (DataLoaderConfiguration، اختياري) — إعدادات لكيفية التعامل مع محمّلات البيانات في السيناريوهات الموزّعة.
  • deepspeed_plugin (DeepSpeedPlugin أو قاموس من str — DeepSpeedPlugin، اختياري): اضبط معاملات DeepSpeed الخاصة بك باستخدام هذا المعامل. هذا المعامل اختياري ويمكن ضبطه مباشرة باستخدام accelerate config. عند استخدام عدة إضافات، استخدم خاصية key المُضبوطة لكل إضافة للوصول إليها من accelerator.state.get_deepspeed_plugin(key). مرادف لـ deepspeed_plugins.
  • fsdp_plugin (FullyShardedDataParallelPlugin، اختياري) — اضبط معاملات FSDP الخاصة بك باستخدام هذا المعامل. هذا المعامل اختياري ويمكن ضبطه مباشرةً باستخدام accelerate config
  • torch_tp_plugin (TorchTensorParallelPlugin، اختياري) — تم إيقاف استخدامه: استخدم parallelism_config مع tp_size بدلاً من ذلك.
  • megatron_lm_plugin (MegatronLMPlugin، اختياري) — قم بتعديل الحُجج المتعلقة بـ MegatronLM باستخدام هذا الحُجج. هذا الحُجج اختياري ويمكن ضبطه مباشرةً باستخدام accelerate config
  • rng_types (قائمة من str أو RNGType) — قائمة مولّدات الأرقام العشوائية التي يجب مزامنتها في بداية كل تكرار في مُحمِّلات البيانات المُعدّة لديك. يجب أن تكون واحدة أو أكثر مما يلي:
    • "torch": مولّد الأرقام العشوائية الأساسي في torch
    • "cuda": مولّد الأرقام العشوائية CUDA (لوحدة المعالجة الرسومية فقط)
    • نوع جهاز أي مُسارِع PyTorch مسجّل: مولّد الأرقام العشوائية الخاص بجهازه.
    • "xla": مولّد الأرقام العشوائية XLA (لوحدة TPU فقط)
    • "generator": هو torch.Generator الخاص بـ sampler (أو batch sampler إذا لم يكن هناك sampler في dataloader الخاص بك) أو الخاص بـ iterable dataset (إذا كان موجودًا) إذا كان نوع dataset الأساسي من هذا النوع.

    سيكون الافتراضي ["torch"] لإصدارات PyTorch <=1.5.1 و["generator"] لإصدارات PyTorch >= 1.6.

  • log_with (قائمة من str, LoggerType أو GeneralTracker, اختياري) — قائمة من السجلات التي سيتم إعدادها لتتبع التجارب. يجب أن تكون واحدة أو عدة من:
    • "all"
    • "tensorboard"
    • "wandb"
    • "trackio"
    • "aim"
    • "comet_ml"
    • "mlflow"
    • "dvclive"
    • "swanlab" إذا تم تحديد "all"، فسيتم اختيار جميع المسارات المتاحة في البيئة وتبديئها. يمكن أيضًا قبول تطبيقات GeneralTracker للمسارات المخصصة، ويمكن الجمع بينها وبين "all".
  • project_config (ProjectConfiguration، اختياري) — إعدادات لكيفية التعامل مع حفظ الحالة.
  • project_dir (str, os.PathLike, اختياري) — مسار إلى مجلد لتخزين البيانات مثل سجلات السجلات المتوافقة محليًا والنقاط المحفوظة المحتملة.
  • step_scheduler_with_optimizer (bool، اختياري، القيمة الافتراضية True) — اضبط True إذا كان مُجدول معدل التعلم يُخطى في الوقت نفسه مع المُحسِّن، وFalse إذا كان ذلك يتم فقط في ظروف معينة (في نهاية كل حقبة، على سبيل المثال).
  • kwargs_handlers (قائمة من KwargsHandler، اختياري) — قائمة من KwargsHandler لتخصيص كيفية إنشاء الكائنات المتعلقة بالتدريب الموزّع أو التحليل أو الدقة المختلطة. راجع kwargs لمزيد من المعلومات.
  • dynamo_backend (str أو DynamoBackend، اختياري، القيمة الافتراضية "no") — اضبطه على أحد محركات dynamo الممكنة لتحسين تدريبك باستخدام torch dynamo.
  • dynamo_plugin (TorchDynamoPlugin، اختياري) — إعدادات لكيفية معالجة torch dynamo، إذا كان هناك حاجة إلى ضبط أكثر من مجرد backend أو mode.
  • gradient_accumulation_plugin (GradientAccumulationPlugin، اختياري) — إعدادات لكيفية معالجة تراكم التدرجات، إذا كان هناك حاجة إلى ضبط أكثر من مجرد gradient_accumulation_steps.

ينشئ مثيلًا لمُسرّع للتدريب الموزّع أو التدريب بدقة مختلطة.

الخصائص المتاحة:

  • device (torch.device) — الجهاز المستخدم.
  • distributed_type (DistributedType) — إعدادات التدريب الموزّع.
  • local_process_index (int) — فهرس العملية على الجهاز الحالي.
  • mixed_precision (str) — وضع الدقة المختلطة المُهيّأ.
  • num_processes (int) — العدد الإجمالي للعمليات المستخدمة للتدريب.
  • optimizer_step_was_skipped (bool) — ما إذا كان تحديث المُحسِّن قد تم تخطيه (بسبب تجاوز التدرج في الدقة المختلطة)، وفي هذه الحالة يجب عدم تغيير معدل التعلم.
  • process_index (int) — الفهرس العام للعملية الحالية بين جميع العمليات.
  • state (AcceleratorState) — حالة الإعداد الموزّع.
  • sync_gradients (bool) — ما إذا كانت التدرجات تُزامَن حاليًا عبر جميع العمليات.
  • use_distributed (bool) — ما إذا كانت الإعدادات الحالية مخصصة للتدريب الموزّع.

accumulate

< >

( *models )

المعاملات

  • *models (قائمة من torch.nn.Module) — وحدات PyTorch تم تجهيزها باستخدام Accelerator.prepare. النماذج المُمرَّرة إلى accumulate() ست تتخطى مزامنة التدرجات أثناء المرور العكسي في التدريب الموزّع

مدير سياق يلتفّ حول العملية بشكل خفيف وينفّذ تراكم التدرّجات تلقائيًا

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator(gradient_accumulation_steps=1)
>>> dataloader, model, optimizer, scheduler = accelerator.prepare(dataloader, model, optimizer, scheduler)

>>> for input, output in dataloader:
...     with accelerator.accumulate(model):
...         outputs = model(input)
...         loss = loss_func(outputs)
...         loss.backward()
...         optimizer.step()
...         scheduler.step()
...         optimizer.zero_grad()

autocast

< >

( autocast_handler: AutocastKwargs = None )

سيُطبَّق الدقة المختلطة التلقائية داخل الكتلة داخل مُدير السياق هذا، إذا كان مفعلاً. لن يحدث أي شيء مختلف في حال العكس.

يمكن تمرير autocast_handler مختلف لتجاوز ذلك المُعيَّن في كائن Accelerator. وهذا مفيد في الكتل الواقعة تحت autocast حيث ترغب في العودة إلى fp32.

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator(mixed_precision="fp16")
>>> with accelerator.autocast():
...     train()

backward

< >

( loss**kwargs )

يقوم بتقليص التدرجات وفقاً لـGradientAccumulationPlugin ويستدعي backward() الصحيح بناءً على الإعدادات.

يجب استخدامه بدلاً من loss.backward().

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator(gradient_accumulation_steps=2)
>>> outputs = model(inputs)
>>> loss = loss_fn(outputs, labels)
>>> accelerator.backward(loss)

check_trigger

< >

( )

يتحقق مما إذا كان متجه التفعيل الداخلي قد تم ضبطه على 1 في أي من العمليات. إذا كان الأمر كذلك، فسيُرجع True ويعيد ضبط متجه التفعيل إلى 0.

ملاحظة: لا يتطلب wait_for_everyone()

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> # Assume later in the training script
>>> # `should_do_breakpoint` is a custom function to monitor when to break,
>>> # e.g. when the loss is NaN
>>> if should_do_breakpoint(loss):
...     accelerator.set_trigger()
>>> # Assume later in the training script
>>> if accelerator.check_trigger():
...     break

مسح

< >

( *objects )

مستعار لـ Accelerate.free_memory، يُحرر جميع المراجع إلى الكائنات الداخلية المخزنة ويستدعي جامع القمامة. يجب عليك استدعاء هذه الطريقة بين تدريبين باستخدام نماذج/محسّنات مختلفة.

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> model, optimizer, scheduler = ...
>>> model, optimizer, scheduler = accelerator.prepare(model, optimizer, scheduler)
>>> model, optimizer, scheduler = accelerator.clear(model, optimizer, scheduler)

clip_grad_norm_

< >

( parametersmax_normnorm_type = 2 ) → torch.Tensor

يعيد

torch.Tensor

المجموع الطبيعي لتدرجات المعاملات (عند النظر إليها كمتجه واحد).

يجب استخدامه بدلاً من torch.nn.utils.clip_grad_norm_.

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator(gradient_accumulation_steps=2)
>>> dataloader, model, optimizer, scheduler = accelerator.prepare(dataloader, model, optimizer, scheduler)

>>> for input, target in dataloader:
...     optimizer.zero_grad()
...     output = model(input)
...     loss = loss_func(output, target)
...     accelerator.backward(loss)
...     if accelerator.sync_gradients:
...         accelerator.clip_grad_norm_(model.parameters(), max_grad_norm)
...     optimizer.step()

clip_grad_value_

< >

( parametersclip_value )

يجب استخدامه بدلاً من torch.nn.utils.clip_grad_value_.

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator(gradient_accumulation_steps=2)
>>> dataloader, model, optimizer, scheduler = accelerator.prepare(dataloader, model, optimizer, scheduler)

>>> for input, target in dataloader:
...     optimizer.zero_grad()
...     output = model(input)
...     loss = loss_func(output, target)
...     accelerator.backward(loss)
...     if accelerator.sync_gradients:
...         accelerator.clip_grad_value_(model.parameters(), clip_value)
...     optimizer.step()

deepspeed_ulysses_dl_adapter

< >

( dlmodel )

يُستدعى هذا عادةً كجزء من prepare ولكن عندما يتم تجهيز مُحمِّل البيانات بشكل منفصل عن النموذج (لنداء accelerator.prepare الخارجي) يجب إجراء هذا النداء الإضافي بعد prepare(model) (انظر HF Trainer كحالة استخدام)

end_training

< >

( )

ينفّذ أي سلوكيات خاصة بنهاية التدريب، مثل إيقاف المسارات (trackers) على العملية الرئيسية فقط أو تدمير مجموعة العمليات (process group). يجب استدعاؤه دائمًا في نهاية سكربت الخاص بك إذا كنت تستخدم تتبع التجارب.

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator(log_with="tensorboard")
>>> accelerator.init_trackers("my_project")
>>> # Do training
>>> accelerator.end_training()

free_memory

< >

( *objects )

سيُطلق جميع المراجع إلى الكائنات الداخلية المخزنة ويستدعي جامع القمامة. يجب عليك استدعاء هذه الطريقة بين تدريبين باستخدام نماذج/محسّنات مختلفة. كما ستعيد تعيين Accelerator.step إلى 0.

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> model, optimizer, scheduler = ...
>>> model, optimizer, scheduler = accelerator.prepare(model, optimizer, scheduler)
>>> model, optimizer, scheduler = accelerator.free_memory(model, optimizer, scheduler)

جمع

< >

( tensor ) → torch.Tensor, or a nested tuple/list/dictionary of torch.Tensor

المعاملات

  • tensor (torch.Tensor، أو tuple/list/dictionary متداخلة من torch.Tensor) — المصفوفات التي سيتم جمعها عبر جميع العمليات.

يعيد

torch.Tensor، أو مجموعة/قائمة/قاموس متداخلة من torch.Tensor

الموترات المجمّعة. لاحظ أن البُعد الأول للنتيجة يساوي num_processes مضروبًا في البُعد الأول للموترات المدخلة.

اجمع القيم في tensor عبر جميع العمليات وادمجها على البُعد الأول. يُفيد هذا في إعادة تجميع التوقعات من جميع العمليات عند إجراء التقييم.

ملاحظة: يحدث هذا التجميع في جميع العمليات.

مثال:

>>> # Assuming four processes
>>> import torch
>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> process_tensor = torch.tensor([accelerator.process_index], device=accelerator.device)
>>> gathered_tensor = accelerator.gather(process_tensor)
>>> gathered_tensor
tensor([0, 1, 2, 3])

gather_for_metrics

< >

( input_datause_gather_object = False )

المعاملات

  • input_data (torch.Tensor، object، أو tuple/list/dictionary متداخل من torch.Tensor، أو tuple/list/dictionary متداخل من object) — المصفوفات أو الكائنات المستخدمة لحساب المقاييس عبر جميع العمليات
  • use_gather_object(bool) — ما إذا كان يجب إجبار استخدام gather_object بدلاً من gather (وهو ما يتم بالفعل إذا لم تحتوي جميع الكائنات الممررة على tensors). يمكن أن يكون هذا العلم مفيدًا لجمع tensors بأحجام مختلفة لا نريد ملئها (padding) أو دمجها (concatenate) على طول البُعد الأول. استخدام هذا العلم مع tensors على GPU غير مدعوم بشكل جيد وغير فعال لأنه يتسبب في نقل من GPU إلى CPU نظرًا لأن tensors ستُحزم (pickled).

يجمع input_data وقد يتخلص من العناصر المكررة في الدفعة الأخيرة إذا كان النظام موزعاً. ينبغي استخدامه لجمع المدخلات والأهداف لحساب المقاييس.

مثال:

>>> # Assuming two processes, with a batch size of 5 on a dataset with 9 samples
>>> import torch
>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> dataloader = torch.utils.data.DataLoader(range(9), batch_size=5)
>>> dataloader = accelerator.prepare(dataloader)
>>> batch = next(iter(dataloader))
>>> gathered_items = accelerator.gather_for_metrics(batch)
>>> len(gathered_items)
9

get_state_dict

< >

( modelunwrap = True ) → dict

المعاملات

  • model (torch.nn.Module) — نموذج PyTorch مرّ عبر Accelerator.prepare()
  • unwrap (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب إرجاع state_dict الأساسي الأصلي لـ model أم إرجاع state_dict المُغلّف

يعيد

dict

قواميس الحالة للنموذج، ربما دون دقة كاملة.

يعيد قاموس الحالة لنموذج مرر عبر Accelerator.prepare()، وقد يكون ذلك دون دقة كاملة.

مثال:

>>> import torch
>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> net = torch.nn.Linear(2, 2)
>>> net = accelerator.prepare(net)
>>> state_dict = accelerator.get_state_dict(net)

get_tracker

< >

( name: strunwrap: bool = False ) → GeneralTracker

المعاملات

  • name (str) — اسم مُتتبّع، يتوافق مع خاصية .name.
  • unwrap (bool) — ما إذا كان يجب إرجاع آلية التتبع الداخلية أو إرجاع العنصر المُغلَّف بدلاً من ذلك (موصى به).

يعيد

GeneralTracker

المُتتبِّع المقابل لـname إذا كان موجودًا.

يعيد tracker من self.trackers بناءً على name في العملية الرئيسية فقط.

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator(log_with="tensorboard")
>>> accelerator.init_trackers("my_project")
>>> tensorboard_tracker = accelerator.get_tracker("tensorboard")

join_uneven_inputs

< >

( joinableseven_batches = None )

المعاملات

  • joinables (list[torch.distributed.algorithms.Joinable]) — قائمة من النماذج أو المُحسِّنات التي ترث من torch.distributed.algorithms.Joinable. في الغالب، يكون العنصر وحدة PyTorch تم تجهيزها باستخدام Accelerator.prepare للتدريب عبر DistributedDataParallel.
  • even_batches (bool، اختياري) — إذا تم تعيينه، فسيتم تجاوز قيمة even_batches المُعيّنة في Accelerator. إذا لم يتم تقديمه، فسيتم استخدام القيمة الافتراضية لـAccelerator.

مدير سياق يسهّل التدريب أو التقييم الموزّع على مدخلات غير متساوية، ويعمل كغلاف حول torch.distributed.algorithms.join. يكون هذا مفيدًا عندما لا يقسم حجم الدفعة الإجمالي طول مجموعة البيانات بشكل متساوٍ.

join_uneven_inputs مدعوم فقط لتدريب Distributed Data Parallel على عدة وحدات معالجة رسومية. وفي أي تكوين آخر، لن يكون لهذا الأسلوب أي تأثير.

لن يؤثر تجاوز even_batches على محمّلات البيانات ذات النمط القابل للتكرار.

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator(even_batches=True)
>>> ddp_model, optimizer, dataloader = accelerator.prepare(model, optimizer, dataloader)

>>> with accelerator.join_uneven_inputs([ddp_model], even_batches=False):
...     for input, output in dataloader:
...         outputs = model(input)
...         loss = loss_func(outputs)
...         loss.backward()
...         optimizer.step()
...         optimizer.zero_grad()

load_state

< >

( input_dir: str | None = Noneload_kwargs: dict | None = None**load_model_func_kwargs )

المعاملات

  • input_dir (str أو os.PathLike) — اسم المجلد الذي تم حفظ جميع الأوزان والحالات ذات الصلة فيه. يمكن أن يكون None إذا تم استخدام automatic_checkpoint_naming، وسيتم الاستحواذ على أحدث نقطة تفتيش.
  • load_kwargs (dict، اختياري) — معلمات إضافية بالكلمات المفتاحية لدالة load الأساسية، مثل المعلمات الاختيارية الخاصة بـ state_dict والمُحسِّن.
  • load_model_func_kwargs (dict، اختياري) — معلمات إضافية بالكلمات المفتاحية لتحميل النموذج يمكن تمريرها إلى دالة التحميل الأساسية، مثل المعلمات الاختيارية لدالة load_checkpoint في DeepSpeed أو map_location لتحديد مكان تحميل النموذج والمُحسِّن.

يحمّل الحالات الحالية للنموذج، والمُحسِّن، والمُقيِّم، ومولّدات الأرقام العشوائية، والكائنات المسجّلة.

يجب استخدامه فقط بالتزامن مع Accelerator.save_state(). إذا لم يتم تسجيل ملف لأغراض إنشاء نقاط التفتيش، فلن يتم تحميله حتى لو كان مخزّنًا في المجلد.

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> model, optimizer, lr_scheduler = ...
>>> model, optimizer, lr_scheduler = accelerator.prepare(model, optimizer, lr_scheduler)
>>> accelerator.load_state("my_checkpoint")

local_main_process_first

< >

( )

يسمح للعملية الرئيسية المحلية بالدخول إلى كتلة with.

ستدخل العمليات الأخرى كتلة with بعد خروج العملية الرئيسية.

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> with accelerator.local_main_process_first():
...     # This will be printed first by local process 0 then in a seemingly
...     # random order by the other processes.
...     print(f"This will be printed by process {accelerator.local_process_index}")

lomo_backward

< >

( loss: torch.Tensorlearning_rate: float )

ينفّذ المرور العكسي على مُحسّنات LOMO.

main_process_first

< >

( )

يسمح للعملية الرئيسية بالبدء أولاً داخل كتلة with.

ستدخل العمليات الأخرى كتلة with بعد خروج العملية الرئيسية.

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> with accelerator.main_process_first():
...     # This will be printed first by process 0 then in a seemingly
...     # random order by the other processes.
...     print(f"This will be printed by process {accelerator.process_index}")

maybe_context_parallel

< >

( buffers: list[torch.Tensor] | None = Nonebuffer_seq_dims: list[int] | None = Noneno_restore_buffers: set[torch.Tensor] | None = None )

المعاملات

  • buffers (list[torch.Tensor], optional) — المخازن المؤقتة التي سيتم تقسيمها على طول بُعد التسلسل. من الأمثلة الشائعة على ذلك المخازن المؤقتة الخاصة بالمدخلات أو التسميات أو تضمينات الموضع. سيقوم مدير السياق هذا بتعديل هذه المخازن المؤقتة في مكانها، وبعد الخروج من السياق، ستُستعاد المخازن المؤقتة إلى حالتها الأصلية. لتجنب عمليات الاستعادة غير الضرورية، يمكنك استخدام no_restore_buffers لتحديد المخازن المؤقتة التي لا تحتاج إلى استعادة.
  • buffer_seq_dims (list[int], optional) — أبعاد التسلسل الخاصة بـbuffers.
  • no_restore_buffers (set[torch.Tensor], optional) — يجب أن يكون هذا المجموعة فرعية من buffers. يحدد أي من المخازن في معامل buffers لن يتم استعادتها بعد خروج السياق. ستبقى هذه المخازن بعد ذلك في حالة مجزأة.

مدير سياق يتيح التدريب المتوازي للسياق.

context_parallel مدعوم حاليًا مع FSDP2 ويتطلب parallelism_config.cp_size >

  1. إذا لم تتحقق أيٌّ من هاتين الشرطين، فلن يكون لهذا مدير السياق أي تأثير، ومع ذلك، لتقليل عدد التعديلات المطلوبة على الكود، لن يرمي استثناءً.

يجب إعادة إنشاء مدير السياق هذا مع كل خطوة تدريب، كما هو موضح في المثال أدناه.

مثال:

>>> for batch in dataloader:
...     with accelerator.maybe_context_parallel(
...         buffers=[batch["input_ids"], batch["attention_mask"]],
...         buffer_seq_dims=[1, 1],
...         no_restore_buffers={batch["input_ids"]},
...     ):
...         outputs = model(batch)
...         ...

no_sync

< >

( model )

المعاملات

  • model (torch.nn.Module) — وحدة PyTorch تم تجهيزها باستخدام Accelerator.prepare

مدير سياق لتعطيل مزامنة التدرجات عبر عمليات DDP عن طريق استدعاء torch.nn.parallel.DistributedDataParallel.no_sync.

إذا لم يكن model في وضع DDP، فإن مدير السياق هذا لا يؤدي أي إجراء

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> dataloader, model, optimizer = accelerator.prepare(dataloader, model, optimizer)
>>> input_a = next(iter(dataloader))
>>> input_b = next(iter(dataloader))

>>> with accelerator.no_sync():
...     outputs = model(input_a)
...     loss = loss_func(outputs)
...     accelerator.backward(loss)
...     # No synchronization across processes, only accumulate gradients
>>> outputs = model(input_b)
>>> accelerator.backward(loss)
>>> # Synchronization across all processes
>>> optimizer.step()
>>> optimizer.zero_grad()

on_last_process

< >

( function: Callable[..., Any] )

المعاملات

  • function (Callable) — الدالة التي سيتم تزيينها.

مُزيِّن (Decorator) يُنفِّذ الدالة المُزيَّنة على العملية الأخيرة فقط. يمكن أيضًا استدعاؤه باستخدام فئة PartialState.

مثال:

# Assume we have 4 processes.
from accelerate import Accelerator

accelerator = Accelerator()


@accelerator.on_last_process
def print_something():
    print(f"Printed on process {accelerator.process_index}")


print_something()
"Printed on process 3"

on_local_main_process

< >

( function: Callable[..., Any] | None = None )

المعاملات

  • function (Callable) — الدالة التي سيتم تزيينها.

مُزيِّن (Decorator) يُنفِّذ الدالة المُزيَّنة على العملية الرئيسية المحلية فقط. يمكن أيضًا استدعاؤه باستخدام فئة PartialState.

مثال:

# Assume we have 2 servers with 4 processes each.
from accelerate import Accelerator

accelerator = Accelerator()


@accelerator.on_local_main_process
def print_something():
    print("This will be printed by process 0 only on each server.")


print_something()
# On server 1:
"This will be printed by process 0 only"
# On server 2:
"This will be printed by process 0 only"

on_local_process

< >

( function: Callable[..., Any] | None = Nonelocal_process_index: int | None = None )

المعاملات

  • function (Callable، اختياري) — الدالة التي سيتم تزيينها.
  • local_process_index (int، اختياري) — مؤشر العملية المحلية التي سيتم تشغيل الدالة عليها.

مُزيِّن (Decorator) يُنفِّذ الدالة المُزيَّنة على فهرس العملية المحلية المحدد فقط. يمكن أيضًا استدعاؤه باستخدام فئة PartialState.

مثال:

# Assume we have 2 servers with 4 processes each.
from accelerate import Accelerator

accelerator = Accelerator()


@accelerator.on_local_process(local_process_index=2)
def print_something():
    print(f"Printed on process {accelerator.local_process_index}")


print_something()
# On server 1:
"Printed on process 2"
# On server 2:
"Printed on process 2"

on_main_process

< >

( function: Callable[..., Any] | None = None )

المعاملات

  • function (Callable) — الدالة التي سيتم تزيينها.

مُزيِّن (Decorator) يُنفِّذ الدالة المُزيَّنة على العملية الرئيسية فقط. يمكن أيضًا استدعاؤه باستخدام فئة PartialState.

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()


>>> @accelerator.on_main_process
... def print_something():
...     print("This will be printed by process 0 only.")


>>> print_something()
"This will be printed by process 0 only"

on_process

< >

( function: Callable[..., Any] | None = Noneprocess_index: int | None = None )

المعاملات

  • function (Callable, optional) — الدالة التي سيتم تزيينها.
  • process_index (int, optional) — مؤشر العملية التي سيتم تشغيل الدالة عليها.

مُزيِّن (Decorator) يُنفِّذ الدالة المُزيَّنة على فهرس عملية محددة فقط. يمكن أيضًا استدعاؤه باستخدام فئة PartialState.

مثال:

# Assume we have 4 processes.
from accelerate import Accelerator

accelerator = Accelerator()


@accelerator.on_process(process_index=2)
def print_something():
    print(f"Printed on process {accelerator.process_index}")


print_something()
"Printed on process 2"

pad_across_processes

< >

( tensordim = 0pad_index = 0pad_first = False ) → torch.Tensor, or a nested tuple/list/dictionary of torch.Tensor

المعاملات

  • tensor (قائمة/مجموعة/قاموس متداخل من torch.Tensor) — البيانات التي سيتم جمعها.
  • dim (int، اختياري، القيمة الافتراضية 0) — البُعد الذي سيتم إضافة الحشو إليه.
  • pad_index (int، اختياري، القيمة الافتراضية 0) — القيمة التي تُستخدم للتعبئة.
  • pad_first (bool، اختياري، القيمة الافتراضية False) — ما إذا كان يجب إضافة الحشو في البداية أم في النهاية.

يعيد

torch.Tensor، أو مجموعة/قائمة/قاموس متداخلة من torch.Tensor

المصفوفة (المصفوفات) المُكمّلة.

املأ الوسائط المتجهية (tensors) الموجودة في قائمة/مجموعة/قاموس متداخل من الوسائط المتجهية من جميع الأجهزة بشكل تكراري حتى تتطابق أحجامها، بحيث يمكن جمعها بأمان.

مثال:

>>> # Assuming two processes, with the first processes having a tensor of size 1 and the second of size 2
>>> import torch
>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> process_tensor = torch.arange(accelerator.process_index + 1).to(accelerator.device)
>>> padded_tensor = accelerator.pad_across_processes(process_tensor)
>>> padded_tensor.shape
torch.Size([2])

prepare

< >

( *argsdevice_placement = None )

المعاملات

  • *args (قائمة من الكائنات) — أيٌّ من الأنواع التالية من الكائنات:
    • torch.utils.data.DataLoader: محمّل البيانات في PyTorch
    • torch.nn.Module: وحدة PyTorch
    • torch.optim.Optimizer: مُحسِّن PyTorch
    • torch.optim.lr_scheduler.LRScheduler: مُجدول معدل التعلم في PyTorch
  • device_placement (list[bool], اختياري) — يُستخدم لتخصيص ما إذا كان يجب تنفيذ التوزيع التلقائي للأجهزة لكل كائن مُمرَّر. يجب أن يكون قائمة بطول مطابق لطول args. غير متوافق مع DeepSpeed أو FSDP.

جهّز جميع الكائنات المُمرَّرة في args للتدريب الموزّع والدقة المختلطة، ثم أعد إرجاعها بنفس الترتيب.

لا تحتاج إلى إعداد نموذج إذا كنت تستخدمه للاستدلال فقط دون أي نوع من الدقة المختلطة

أمثلة:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> # Assume a model, optimizer, data_loader and scheduler are defined
>>> model, optimizer, data_loader, scheduler = accelerator.prepare(model, optimizer, data_loader, scheduler)
>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> # Assume a model, optimizer, data_loader and scheduler are defined
>>> device_placement = [True, True, False, False]
>>> # Will place the first two items passed in automatically to the right device but not the last two.
>>> model, optimizer, data_loader, scheduler = accelerator.prepare(
...     model, optimizer, data_loader, scheduler, device_placement=device_placement
... )

prepare_data_loader

< >

( data_loader: torch.utils.data.DataLoaderdevice_placement = Noneslice_fn_for_dispatch = None )

المعاملات

  • data_loader (torch.utils.data.DataLoader) — DataLoader قياسي من PyTorch لتحضير
  • device_placement (bool، اختياري) — ما إذا كان سيتم وضع الدفعات على الجهاز المناسب في مُحمِّل البيانات المُعدّ أم لا. سيُستخدم افتراضيًا self.device_placement.
  • slice_fn_for_dispatch (Callable, optional) -- If passed, this function will be used to slice tensors across num_processes. Will default to [slice_tensors()](/docs/accelerate/v1.16.0/en/package_reference/utilities#accelerate.utils.slice_tensors). This argument is used only when dispatch_batchesis set toTrue` and will be ignored otherwise.

يُعدّ DataLoader من PyTorch للتدريب في أي تكوين موزّع. يُوصى باستخدام Accelerator.prepare() بدلاً من ذلك.

مثال:

>>> import torch
>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> data_loader = torch.utils.data.DataLoader(...)
>>> data_loader = accelerator.prepare_data_loader(data_loader, device_placement=True)

prepare_model

< >

( model: torch.nn.Moduledevice_placement: bool | None = Noneevaluation_mode: bool = False )

المعاملات

  • model (torch.nn.Module) — نموذج PyTorch يُحضَّر للاستخدام. لا حاجة إلى تحضير النموذج إذا كان يُستخدم للاستدلال فقط دون أي نوع من الدقة المختلطة
  • device_placement (bool، اختياري) — ما إذا كان سيتم وضع النموذج على الجهاز المناسب أم لا. سيُستخدم self.device_placement افتراضيًا.
  • evaluation_mode (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم ضبط النموذج للتقييم فقط، من خلال تطبيق الدقة المختلطة و torch.compile (إذا تم تكوينه في كائن Accelerator).

يُعدّ نموذج PyTorch للتدريب في أي تكوين موزّع. يُوصى باستخدام Accelerator.prepare() بدلاً من ذلك.

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> # Assume a model is defined
>>> model = accelerator.prepare_model(model)

prepare_optimizer

< >

( optimizer: torch.optim.Optimizerdevice_placement = None )

المعاملات

  • optimizer (torch.optim.Optimizer) — مُحسِّن PyTorch عاديّ للاستعداد
  • device_placement (bool, اختياري) — ما إذا كان سيتم وضع المُحسِّن على الجهاز المناسب أم لا. سيُستخدم self.device_placement افتراضيًا.

يُعدّ مُحسِّن PyTorch للتدريب في أي تكوين موزّع. يُوصى باستخدام Accelerator.prepare() بدلاً من ذلك.

مثال:

>>> import torch
>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> optimizer = torch.optim.Adam(...)
>>> optimizer = accelerator.prepare_optimizer(optimizer, device_placement=True)

prepare_scheduler

< >

( scheduler: LRScheduler )

المعاملات

  • scheduler (torch.optim.lr_scheduler.LRScheduler) — جدولة عادية من PyTorch للتحضير

يُعدّ جدولة PyTorch للتدريب في أي تكوين موزّع. يُوصى باستخدام Accelerator.prepare() بدلاً من ذلك.

مثال:

>>> import torch
>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> optimizer = torch.optim.Adam(...)
>>> scheduler = torch.optim.lr_scheduler.LambdaLR(optimizer, ...)
>>> scheduler = accelerator.prepare_scheduler(scheduler)

print

< >

( *args**kwargs )

بديل مباشر لـ print() لطباعة مرة واحدة فقط لكل خادم.

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> accelerator.print("Hello world!")

الملف الشخصي

< >

( profile_handler: ProfileKwargs | None = None )

المعاملات

  • profile_handler (ProfileKwargs، اختياري) — معالج الملف الشخصي (profile handler) الذي سيُستخدم لهذا مدير السياق. إذا لم يُمرَّر، فسيُستخدم ذلك المُعيَّن في كائن Accelerator.

سيُجري الملف الشخصي (Profile) تحليلًا للكود داخل مُدير السياق. سيُحفظ الملف الشخصي في ملف Chrome Trace إذا تم تعيين profile_handler.output_trace_dir.

يمكن تمرير profile_handler مختلف لتجاوز ذلك المُعيَّن في كائن Accelerator.

مثال:

# Profile with default settings
from accelerate import Accelerator
from accelerate.utils import ProfileKwargs

accelerator = Accelerator()
with accelerator.profile() as prof:
    train()
accelerator.print(prof.key_averages().table())


# Profile with the custom handler
def custom_handler(prof):
    print(prof.key_averages().table(sort_by="self_cpu_time_total", row_limit=10))


kwargs = ProfileKwargs(schedule_option=dict(wait=1, warmup=1, active=1), on_trace_ready=custom_handler)
accelerator = Accelerator(kwarg_handler=[kwargs])
with accelerator.profile() as prof:
    for _ in range(10):
        train_iteration()
        prof.step()


# Profile and export to Chrome Trace
kwargs = ProfileKwargs(output_trace_dir="output_trace")
accelerator = Accelerator(kwarg_handler=[kwargs])
with accelerator.profile():
    train()

اختزال

< >

( tensorreduction = 'sum'scale = 1.0 ) → torch.Tensor, or a nested tuple/list/dictionary of torch.Tensor

المعاملات

  • tensor (torch.Tensor، أو tuple/list/dictionary متداخلة من torch.Tensor) — المصفوفات التي سيتم تقليلها عبر جميع العمليات.
  • reduction (str، اختياري، القيمة الافتراضية “sum”) — نوع الاختزال، يمكن أن يكون أحد ‘sum’ أو ‘mean’ أو ‘max’ أو ‘none’. إذا كانت القيمة ‘none’، فلن يتم تنفيذ أي عملية.
  • scale (float، اختياري، القيمة الافتراضية 1.0) — قيمة تحجيم افتراضية تُطبَّق بعد عملية الاختزال، وهي صالحة على XLA فقط.

يعيد

torch.Tensor، أو مجموعة/قائمة/قاموس متداخلة من torch.Tensor

الموترات المُختزَلة.

قلّل القيم في tensor عبر جميع العمليات بناءً على reduction.

ملاحظة: تستلم جميع العمليات القيمة المُخفَّضة.

مثال:

>>> # Assuming two processes
>>> import torch
>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> process_tensor = torch.arange(accelerator.num_processes) + 1 + (2 * accelerator.process_index)
>>> process_tensor = process_tensor.to(accelerator.device)
>>> reduced_tensor = accelerator.reduce(process_tensor, reduction="sum")
>>> reduced_tensor
tensor([4, 6])

register_for_checkpointing

< >

( *objects )

يسجّل objects ويحفظها أو يحمّلها أثناء save_state أو load_state.

يجب استخدام هذه عند تحميل الحالة أو حفظها في نفس السكربت. لم يتم تصميمها للاستخدام في سكربتات مختلفة.

يجب أن يحتوي كل object على دالتي load_state_dict وstate_dict ليتم تخزينه.

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> # Assume `CustomObject` has a `state_dict` and `load_state_dict` function.
>>> obj = CustomObject()
>>> accelerator.register_for_checkpointing(obj)
>>> accelerator.save_state("checkpoint.pt")

register_load_state_pre_hook

< >

( hook: Callable[..., None] ) → torch.utils.hooks.RemovableHandle

المعاملات

يعيد

torch.utils.hooks.RemovableHandle

مقبض يمكن استخدامه لإزالة الخطاف المضاف عن طريق استدعاء handle.remove()

يسجّل خطافًا مسبقًا (pre hook) يُنفَّذ قبل استدعاء load_checkpoint في Accelerator.load_state().

يجب أن يكون للتوقيع التالي:

hook(models: list[torch.nn.Module], input_dir: str) -> None

الحجة models هي النماذج كما تم حفظها في حالة المُسرِّع تحت accelerator._models، والحجة input_dir هي الحجة input_dir المُمرَّرة إلى Accelerator.load_state().

يجب استخدامه فقط بالتزامن مع Accelerator.register_save_state_pre_hook(). قد يكون مفيدًا لتحميل الإعدادات بالإضافة إلى أوزان النموذج. كما يمكن استخدامه لتجاوز تحميل النموذج بطريقة مخصصة. في هذه الحالة، تأكد من إزالة النماذج المحمّلة مسبقًا من قائمة النماذج.

register_save_state_pre_hook

< >

( hook: Callable[..., None] ) → torch.utils.hooks.RemovableHandle

المعاملات

يعيد

torch.utils.hooks.RemovableHandle

مقبض يمكن استخدامه لإزالة الخطاف المضاف عن طريق استدعاء handle.remove()

يسجّل خطافًا مسبقًا (pre hook) يُنفَّذ قبل استدعاء save_checkpoint في Accelerator.save_state().

يجب أن يكون للتوقيع التالي:

hook(models: list[torch.nn.Module], weights: list[dict[str, torch.Tensor]], input_dir: str) -> None

الحجة models هي النماذج كما تم حفظها في حالة المُسرِّع تحت accelerator._models، والحجة weights هي قواميس الحالة الخاصة بـ models، والحجة input_dir هي الحجة input_dir المُمرَّرة إلى Accelerator.load_state().

يجب استخدامه فقط بالتزامن مع Accelerator.register_load_state_pre_hook(). قد يكون مفيدًا لحفظ الإعدادات بالإضافة إلى أوزان النموذج. يمكن أيضًا استخدامه لتجاوز حفظ النموذج بطريقة مخصصة. في هذه الحالة، تأكد من إزالة الأوزان المحمّلة مسبقًا من قائمة الأوزان.

حفظ

< >

( objfsafe_serialization = False )

المعاملات

  • obj (object) — الكائن الذي سيتم حفظه.
  • f (str أو os.PathLike) — المكان الذي يُحفظ فيه محتوى obj.
  • safe_serialization (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم حفظ obj باستخدام safetensors

احفظ الكائن المُمرَّر على القرص مرة واحدة لكل جهاز. استخدمه بدلاً من torch.save.

ملاحظة: إذا تم تمرير save_on_each_node كـ ProjectConfiguration، فسيتم حفظ الكائن مرة واحدة لكل عقدة، بدلاً من الحفظ مرة واحدة فقط على العقدة الرئيسية.

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> arr = [0, 1, 2, 3]
>>> accelerator.save(arr, "array.pkl")

save_model

< >

( model: torch.nn.Modulesave_directory: Union[str, os.PathLike]max_shard_size: Union[int, str] = '10GB'safe_serialization: bool = True )

المعاملات

  • model — (torch.nn.Module): النموذج المراد حفظه. يمكن أن يكون النموذج مغلفًا أو غير مغلف.
  • save_directory (str أو os.PathLike) — المجلد الذي سيتم الحفظ فيه. سيتم إنشاؤه إذا لم يكن موجودًا.
  • max_shard_size (int أو str, اختياري, الافتراضي هو "10GB") — الحد الأقصى لحجم نقطة التفتيش قبل تقسيمها إلى أجزاء. ستكون نقاط التفتيش المقسمة كل منها بحجم أقل من هذا الحجم. إذا تم التعبير عنه كنص، فيجب أن يتكون من أرقام متبوعة بوحدة (مثل "5MB").

    إذا كان وزن واحد من النموذج أكبر من max_shard_size، فسيكون في شريحة نقطة تحقق خاصة به ستكون أكبر من max_shard_size.

  • safe_serialization (bool، اختياري، القيمة الافتراضية True) — ما إذا كان سيتم حفظ النموذج باستخدام safetensors أو بالطريقة التقليدية الخاصة بـ PyTorch (التي تستخدم pickle).

احفظ نموذجًا بحيث يمكن إعادة تحميله باستخدام load_checkpoint_in_model

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> model = ...
>>> accelerator.save_model(model, save_directory)

save_state

< >

( output_dir: str | None = Nonesafe_serialization: bool = True**save_model_func_kwargs )

المعاملات

  • output_dir (str أو os.PathLike) — اسم المجلد الذي تُحفظ فيه جميع الأوزان والحالات ذات الصلة.
  • safe_serialization (bool، اختياري، القيمة الافتراضية True) — ما إذا كان سيتم حفظ النموذج باستخدام safetensors أو بالطريقة التقليدية الخاصة بـ PyTorch (التي تستخدم pickle).
  • save_model_func_kwargs (dict, اختياري) — معلمات إضافية بالكلمات المفتاحية لحفظ النموذج يمكن تمريرها إلى دالة الحفظ الأساسية، مثل المعلمات الاختيارية لدالة save_checkpoint في DeepSpeed.

يحفظ الحالات الحالية للنموذج، والمُحسِّن، والمُقيِّم، ومولّدات الأرقام العشوائية، والكائنات المسجّلة في مجلد.

إذا تم تمرير ProjectConfiguration إلى كائن Accelerator مع تفعيل automatic_checkpoint_naming فسيتم حفظ نقاط التفتيش في self.project_dir/checkpoints. إذا كان عدد الحفظات الحالية أكبر من total_limit فسيتم حذف أقدم حفظ. يُحفظ كل نقطة تفتيش في مجلدات منفصلة تُسمى checkpoint_<iteration>.

وإلا تُحفظ فقط في output_dir.

يجب استخدامه فقط عند الرغبة في حفظ نقطة تفتيش أثناء التدريب واستعادة الحالة في نفس البيئة.

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> model, optimizer, lr_scheduler = ...
>>> model, optimizer, lr_scheduler = accelerator.prepare(model, optimizer, lr_scheduler)
>>> accelerator.save_state(output_dir="my_checkpoint")

set_trigger

< >

( )

يُعيّن الموتر المحفّز الداخلي إلى 1 في العملية الحالية. يجب أن يتبع ذلك فحص لاحق باستخدام هذا الأمر، والذي سيقوم بالتحقق عبر جميع العمليات.

ملاحظة: لا يتطلب wait_for_everyone()

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> # Assume later in the training script
>>> # `should_do_breakpoint` is a custom function to monitor when to break,
>>> # e.g. when the loss is NaN
>>> if should_do_breakpoint(loss):
...     accelerator.set_trigger()
>>> # Assume later in the training script
>>> if accelerator.check_breakpoint():
...     break

skip_first_batches

< >

( dataloadernum_batches: int = 0 )

المعاملات

  • dataloader (torch.utils.data.DataLoader) — مُحمِّل البيانات الذي سيتم تخطّي الدفعات فيه.
  • num_batches (int، اختياري، القيمة الافتراضية 0) — عدد الدفعات التي سيتم تجاوزها

ينشئ torch.utils.data.DataLoader جديدًا يتخطى بكفاءة أول num_batches.

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> dataloader, model, optimizer, scheduler = accelerator.prepare(dataloader, model, optimizer, scheduler)
>>> skipped_dataloader = accelerator.skip_first_batches(dataloader, num_batches=2)
>>> # for the first epoch only
>>> for input, target in skipped_dataloader:
...     optimizer.zero_grad()
...     output = model(input)
...     loss = loss_func(output, target)
...     accelerator.backward(loss)
...     optimizer.step()

>>> # subsequent epochs
>>> for input, target in dataloader:
...     optimizer.zero_grad()
...     ...

split_between_processes

< >

( inputs: list | tuple | dict | torch.Tensorapply_padding: bool = False )

المعاملات

  • inputs (list أو tuple أو torch.Tensor أو dict من list/tuple/torch.Tensor) — المدخلات التي سيتم تقسيمها بين العمليات.
  • apply_padding (bool, optional, defaults to False) — Whether to apply padding by repeating the last element of the input so that all processes have the same number of elements. Useful when trying to perform actions such as Accelerator.gather() on the outputs or passing in less inputs than there are processes. If so, just remember to drop the padded elements afterwards.

يقسم input بسرعة بين self.num_processes ويمكن استخدامه بعد ذلك على تلك العملية. مفيد عند تنفيذ الاستدلال الموزّع، مثل استخدام أوامر مختلفة.

لاحظ أنه عند استخدام dict، يجب أن تحتوي جميع المفاتيح على نفس عدد العناصر.

مثال:

# Assume there are two processes
from accelerate import Accelerator

accelerator = Accelerator()
with accelerator.split_between_processes(["A", "B", "C"]) as inputs:
    print(inputs)
# Process 0
["A", "B"]
# Process 1
["C"]

with accelerator.split_between_processes(["A", "B", "C"], apply_padding=True) as inputs:
    print(inputs)
# Process 0
["A", "B"]
# Process 1
["C", "C"]

trigger_sync_in_backward

< >

( model )

المعاملات

  • model (torch.nn.Module) — النموذج الذي سيتم تفعيل مزامنة التدرجات له.

تفعيل مزامنة التدرّجات في مسار الرجوع التالي للنموذج بعد عدة مسارات أمامية تحت Accelerator.no_sync (تنطبق فقط في سيناريوهات متعددة وحدات معالجة الرسوميات).

إذا لم يُشغَّل السكربت في وضع التوزيع، فإن مدير السياق هذا لا يؤدي أي إجراء.

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> dataloader, model, optimizer = accelerator.prepare(dataloader, model, optimizer)

>>> with accelerator.no_sync():
...     loss_a = loss_func(model(input_a))  # first forward pass
...     loss_b = loss_func(model(input_b))  # second forward pass
>>> accelerator.backward(loss_a)  # No synchronization across processes, only accumulate gradients
>>> with accelerator.trigger_sync_in_backward(model):
...     accelerator.backward(loss_b)  # Synchronization across all processes
>>> optimizer.step()
>>> optimizer.zero_grad()

unscale_gradients

< >

( optimizer = None )

المعاملات

  • optimizer (torch.optim.Optimizer أو list[torch.optim.Optimizer]، اختياري) — المُحسِّن (أو المُحسِّنات) التي سيتم إلغاء توسيع التدرجات الخاصة بها. إذا لم يتم تعيينه، فسيتم إلغاء توسيع التدرجات لجميع المُحسِّنات التي تم تمريرها إلى prepare().

قم بإلغاء توسيع التدرجات في التدريب بدقة مختلطة باستخدام AMP. هذا إجراء لا شيء في جميع الإعدادات الأخرى.

من المرجح أن يُستدعى عبر Accelerator.clipgrad_norm() أو Accelerator.clipgrad_value()

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> model, optimizer = accelerator.prepare(model, optimizer)
>>> outputs = model(inputs)
>>> loss = loss_fn(outputs, labels)
>>> accelerator.backward(loss)
>>> accelerator.unscale_gradients(optimizer=optimizer)

unwrap_model

< >

( modelkeep_fp32_wrapper: bool = Truekeep_torch_compile: bool = True ) → torch.nn.Module

المعاملات

  • model (torch.nn.Module) — النموذج الذي سيتم فك تغليفه.
  • keep_fp32_wrapper (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب عدم إزالة خطاف الدقة المختلطة إذا كان قد أُضيف.
  • keep_torch_compile (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب عدم فك تغليف النموذج المُجمَّع إذا كان مُجمَّعًا.

يعيد

torch.nn.Module

النموذج غير المُغلّف.

يفكّك model من الطبقة الإضافية التي قد يضيفها prepare(). مفيد قبل حفظ النموذج.

مثال:

>>> # Assuming two GPU processes
>>> from torch.nn.parallel import DistributedDataParallel
>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> model = accelerator.prepare(MyModel())
>>> print(model.__class__.__name__)
DistributedDataParallel

>>> model = accelerator.unwrap_model(model)
>>> print(model.__class__.__name__)
MyModel

verify_device_map

< >

( model: torch.nn.Module )

يتحقق من أن model لم يُجهَّز للاستدلال على نماذج كبيرة باستخدام خريطة أجهزة تشبه auto.

wait_for_everyone

< >

( )

توقف تنفيذ العملية الحالية حتى تصل جميع العمليات الأخرى إلى تلك النقطة (لذا لا يؤدي هذا الأمر أي شيء عند تشغيل السكربت في عملية واحدة فقط). مفيد للقيام به قبل حفظ النموذج.

مثال:

>>> # Assuming two GPU processes
>>> import time
>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> if accelerator.is_main_process:
...     time.sleep(2)
>>> else:
...     print("I'm waiting for the main process to finish its sleep...")
>>> accelerator.wait_for_everyone()
>>> # Should print on every process at the same time
>>> print("Everyone is here")

أدوات

accelerate.utils.gather_object

< >

( object: Any )

المعاملات

  • object (قائمة/مجموعة/قاموس متداخل من كائنات قابلة للتخزين) — البيانات التي يجب جمعها.

اجمع كائنًا بشكل تكراري من قائمة/مجموعة/قاموس متداخل من الكائنات من جميع الأجهزة.

Update on GitHub