Accelerate documentation
مُسرِّع
مُسرِّع
يُعدّ Accelerator الفئة الرئيسية لتمكين التدريب الموزّع على أي نوع من إعدادات التدريب. اقرأ شروحات إضافة Accelerator إلى كودك لمعرفة المزيد حول كيفية إضافة Accelerator إلى سكربت الخاص بك.
مُسرِّع
فئة accelerate.Accelerator
< source >( device_placement: bool = Truesplit_batches: bool = <object object at 0x7f7bf6a755a0>mixed_precision: PrecisionType | str | None = Nonegradient_accumulation_steps: int = 1cpu: bool = Falsedataloader_config: DataLoaderConfiguration | None = Nonedeepspeed_plugin: DeepSpeedPlugin | dict[str, DeepSpeedPlugin] | None = Nonefsdp_plugin: FullyShardedDataParallelPlugin | None = Nonetorch_tp_plugin: TorchTensorParallelPlugin | None = Nonemegatron_lm_plugin: MegatronLMPlugin | None = Nonerng_types: list[str | RNGType] | None = Nonelog_with: str | LoggerType | GeneralTracker | list[str | LoggerType | GeneralTracker] | None = Noneproject_dir: str | os.PathLike | None = Noneproject_config: ProjectConfiguration | None = Nonegradient_accumulation_plugin: GradientAccumulationPlugin | None = Nonestep_scheduler_with_optimizer: bool = Truekwargs_handlers: list[KwargsHandler] | None = Nonedynamo_backend: DynamoBackend | str | None = Nonedynamo_plugin: TorchDynamoPlugin | None = Nonedeepspeed_plugins: DeepSpeedPlugin | dict[str, DeepSpeedPlugin] | None = Noneparallelism_config: ParallelismConfig | None = None )
المعاملات
- device_placement (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان المُسرِّع يجب أن يضع الكائنات على الجهاز (المُتجهات الناتجة عن مُحمِّل البيانات، النموذج، إلخ…). - mixed_precision (
str, اختياري) — ما إذا كان سيتم استخدام التدريب بدقة مختلطة أم لا. اختر من بين ‘no’ و‘fp16’ و‘bf16’ أو ‘fp8’. سيكون الافتراضي هو القيمة الموجودة في متغير البيئةACCELERATE_MIXED_PRECISION، والذي سيستخدم القيمة الافتراضية في إعدادات accelerate للنظام الحالي أو العلم المُمرَّر مع أمرaccelerate.launch. يتطلب ‘fp8’ تثبيت transformers-engine. - gradient_accumulation_steps (
int، اختياري، القيمة الافتراضية 1) — عدد الخطوات التي يجب أن تمر قبل تراكم التدرجات. يجب دمج قيمة أكبر من 1 معAccelerator.accumulate. إذا لم تُمرَّر، فستتخذ القيمة الافتراضية من متغير البيئةACCELERATE_GRADIENT_ACCUMULATION_STEPS. يمكن أيضًا تكوينها من خلالGradientAccumulationPlugin. - cpu (
bool, اختياري) — ما إذا كان سيتم إجبار السكربت على التنفيذ على وحدة المعالجة المركزية (CPU). إذا تم تعيينه إلىTrue، سيتم تجاهل وحدة معالجة الرسومات (GPU) المتاحة وإجبار التنفيذ على عملية واحدة فقط. - dataloader_config (
DataLoaderConfiguration، اختياري) — إعدادات لكيفية التعامل مع محمّلات البيانات في السيناريوهات الموزّعة. - deepspeed_plugin (DeepSpeedPlugin أو قاموس من
str— DeepSpeedPlugin، اختياري): اضبط معاملات DeepSpeed الخاصة بك باستخدام هذا المعامل. هذا المعامل اختياري ويمكن ضبطه مباشرة باستخدام accelerate config. عند استخدام عدة إضافات، استخدم خاصيةkeyالمُضبوطة لكل إضافة للوصول إليها منaccelerator.state.get_deepspeed_plugin(key). مرادف لـdeepspeed_plugins. - fsdp_plugin (FullyShardedDataParallelPlugin، اختياري) — اضبط معاملات FSDP الخاصة بك باستخدام هذا المعامل. هذا المعامل اختياري ويمكن ضبطه مباشرةً باستخدام accelerate config
- torch_tp_plugin (
TorchTensorParallelPlugin، اختياري) — تم إيقاف استخدامه: استخدمparallelism_configمعtp_sizeبدلاً من ذلك. - megatron_lm_plugin (MegatronLMPlugin، اختياري) — قم بتعديل الحُجج المتعلقة بـ MegatronLM باستخدام هذا الحُجج. هذا الحُجج اختياري ويمكن ضبطه مباشرةً باستخدام accelerate config
- rng_types (قائمة من
strأو RNGType) — قائمة مولّدات الأرقام العشوائية التي يجب مزامنتها في بداية كل تكرار في مُحمِّلات البيانات المُعدّة لديك. يجب أن تكون واحدة أو أكثر مما يلي:"torch": مولّد الأرقام العشوائية الأساسي في torch"cuda": مولّد الأرقام العشوائية CUDA (لوحدة المعالجة الرسومية فقط)- نوع جهاز أي مُسارِع PyTorch مسجّل: مولّد الأرقام العشوائية الخاص بجهازه.
"xla": مولّد الأرقام العشوائية XLA (لوحدة TPU فقط)"generator": هوtorch.Generatorالخاص بـ sampler (أو batch sampler إذا لم يكن هناك sampler في dataloader الخاص بك) أو الخاص بـ iterable dataset (إذا كان موجودًا) إذا كان نوع dataset الأساسي من هذا النوع.
سيكون الافتراضي
["torch"]لإصدارات PyTorch <=1.5.1 و["generator"]لإصدارات PyTorch >= 1.6. - log_with (قائمة من
str, LoggerType أو GeneralTracker, اختياري) — قائمة من السجلات التي سيتم إعدادها لتتبع التجارب. يجب أن تكون واحدة أو عدة من:"all""tensorboard""wandb""trackio""aim""comet_ml""mlflow""dvclive""swanlab"إذا تم تحديد"all"، فسيتم اختيار جميع المسارات المتاحة في البيئة وتبديئها. يمكن أيضًا قبول تطبيقاتGeneralTrackerللمسارات المخصصة، ويمكن الجمع بينها وبين"all".
- project_config (ProjectConfiguration، اختياري) — إعدادات لكيفية التعامل مع حفظ الحالة.
- project_dir (
str,os.PathLike, اختياري) — مسار إلى مجلد لتخزين البيانات مثل سجلات السجلات المتوافقة محليًا والنقاط المحفوظة المحتملة. - step_scheduler_with_optimizer (
bool، اختياري، القيمة الافتراضيةTrue) — اضبطTrueإذا كان مُجدول معدل التعلم يُخطى في الوقت نفسه مع المُحسِّن، وFalseإذا كان ذلك يتم فقط في ظروف معينة (في نهاية كل حقبة، على سبيل المثال). - kwargs_handlers (قائمة من KwargsHandler، اختياري) — قائمة من KwargsHandler لتخصيص كيفية إنشاء الكائنات المتعلقة بالتدريب الموزّع أو التحليل أو الدقة المختلطة. راجع kwargs لمزيد من المعلومات.
- dynamo_backend (
strأو DynamoBackend، اختياري، القيمة الافتراضية"no") — اضبطه على أحد محركات dynamo الممكنة لتحسين تدريبك باستخدام torch dynamo. - dynamo_plugin (TorchDynamoPlugin، اختياري) —
إعدادات لكيفية معالجة torch dynamo، إذا كان هناك حاجة إلى ضبط أكثر من مجرد
backendأوmode. - gradient_accumulation_plugin (GradientAccumulationPlugin، اختياري) —
إعدادات لكيفية معالجة تراكم التدرجات، إذا كان هناك حاجة إلى ضبط أكثر من مجرد
gradient_accumulation_steps.
ينشئ مثيلًا لمُسرّع للتدريب الموزّع أو التدريب بدقة مختلطة.
الخصائص المتاحة:
- device (
torch.device) — الجهاز المستخدم. - distributed_type (DistributedType) — إعدادات التدريب الموزّع.
- local_process_index (
int) — فهرس العملية على الجهاز الحالي. - mixed_precision (
str) — وضع الدقة المختلطة المُهيّأ. - num_processes (
int) — العدد الإجمالي للعمليات المستخدمة للتدريب. - optimizer_step_was_skipped (
bool) — ما إذا كان تحديث المُحسِّن قد تم تخطيه (بسبب تجاوز التدرج في الدقة المختلطة)، وفي هذه الحالة يجب عدم تغيير معدل التعلم. - process_index (
int) — الفهرس العام للعملية الحالية بين جميع العمليات. - state (AcceleratorState) — حالة الإعداد الموزّع.
- sync_gradients (
bool) — ما إذا كانت التدرجات تُزامَن حاليًا عبر جميع العمليات. - use_distributed (
bool) — ما إذا كانت الإعدادات الحالية مخصصة للتدريب الموزّع.
accumulate
< source >( *models )
مدير سياق يلتفّ حول العملية بشكل خفيف وينفّذ تراكم التدرّجات تلقائيًا
مثال:
>>> from accelerate import Accelerator
>>> accelerator = Accelerator(gradient_accumulation_steps=1)
>>> dataloader, model, optimizer, scheduler = accelerator.prepare(dataloader, model, optimizer, scheduler)
>>> for input, output in dataloader:
... with accelerator.accumulate(model):
... outputs = model(input)
... loss = loss_func(outputs)
... loss.backward()
... optimizer.step()
... scheduler.step()
... optimizer.zero_grad()سيُطبَّق الدقة المختلطة التلقائية داخل الكتلة داخل مُدير السياق هذا، إذا كان مفعلاً. لن يحدث أي شيء مختلف في حال العكس.
يمكن تمرير autocast_handler مختلف لتجاوز ذلك المُعيَّن في كائن Accelerator. وهذا مفيد في الكتل الواقعة تحت autocast حيث ترغب في العودة إلى fp32.
يقوم بتقليص التدرجات وفقاً لـGradientAccumulationPlugin ويستدعي backward() الصحيح بناءً على الإعدادات.
يجب استخدامه بدلاً من loss.backward().
يتحقق مما إذا كان متجه التفعيل الداخلي قد تم ضبطه على 1 في أي من العمليات. إذا كان الأمر كذلك، فسيُرجع True ويعيد ضبط متجه التفعيل إلى 0.
ملاحظة:
لا يتطلب wait_for_everyone()
مثال:
>>> from accelerate import Accelerator
>>> accelerator = Accelerator()
>>> # Assume later in the training script
>>> # `should_do_breakpoint` is a custom function to monitor when to break,
>>> # e.g. when the loss is NaN
>>> if should_do_breakpoint(loss):
... accelerator.set_trigger()
>>> # Assume later in the training script
>>> if accelerator.check_trigger():
... breakمستعار لـ Accelerate.free_memory، يُحرر جميع المراجع إلى الكائنات الداخلية المخزنة ويستدعي جامع القمامة. يجب عليك استدعاء هذه الطريقة بين تدريبين باستخدام نماذج/محسّنات مختلفة.
clip_grad_norm_
< source >( parametersmax_normnorm_type = 2 ) → torch.Tensor
يعيد
torch.Tensor
المجموع الطبيعي لتدرجات المعاملات (عند النظر إليها كمتجه واحد).
يجب استخدامه بدلاً من torch.nn.utils.clip_grad_norm_.
مثال:
>>> from accelerate import Accelerator
>>> accelerator = Accelerator(gradient_accumulation_steps=2)
>>> dataloader, model, optimizer, scheduler = accelerator.prepare(dataloader, model, optimizer, scheduler)
>>> for input, target in dataloader:
... optimizer.zero_grad()
... output = model(input)
... loss = loss_func(output, target)
... accelerator.backward(loss)
... if accelerator.sync_gradients:
... accelerator.clip_grad_norm_(model.parameters(), max_grad_norm)
... optimizer.step()يجب استخدامه بدلاً من torch.nn.utils.clip_grad_value_.
مثال:
>>> from accelerate import Accelerator
>>> accelerator = Accelerator(gradient_accumulation_steps=2)
>>> dataloader, model, optimizer, scheduler = accelerator.prepare(dataloader, model, optimizer, scheduler)
>>> for input, target in dataloader:
... optimizer.zero_grad()
... output = model(input)
... loss = loss_func(output, target)
... accelerator.backward(loss)
... if accelerator.sync_gradients:
... accelerator.clip_grad_value_(model.parameters(), clip_value)
... optimizer.step()يُستدعى هذا عادةً كجزء من prepare ولكن عندما يتم تجهيز مُحمِّل البيانات بشكل منفصل عن النموذج (لنداء accelerator.prepare الخارجي) يجب إجراء هذا النداء الإضافي بعد prepare(model) (انظر HF Trainer كحالة استخدام)
ينفّذ أي سلوكيات خاصة بنهاية التدريب، مثل إيقاف المسارات (trackers) على العملية الرئيسية فقط أو تدمير مجموعة العمليات (process group). يجب استدعاؤه دائمًا في نهاية سكربت الخاص بك إذا كنت تستخدم تتبع التجارب.
سيُطلق جميع المراجع إلى الكائنات الداخلية المخزنة ويستدعي جامع القمامة. يجب عليك استدعاء هذه الطريقة بين تدريبين باستخدام نماذج/محسّنات مختلفة. كما ستعيد تعيين Accelerator.step إلى 0.
جمع
< source >( tensor ) → torch.Tensor, or a nested tuple/list/dictionary of torch.Tensor
المعاملات
- tensor (
torch.Tensor، أو tuple/list/dictionary متداخلة منtorch.Tensor) — المصفوفات التي سيتم جمعها عبر جميع العمليات.
يعيد
torch.Tensor، أو مجموعة/قائمة/قاموس متداخلة من torch.Tensor
الموترات المجمّعة. لاحظ أن البُعد الأول للنتيجة يساوي num_processes مضروبًا في البُعد الأول للموترات المدخلة.
اجمع القيم في tensor عبر جميع العمليات وادمجها على البُعد الأول. يُفيد هذا في إعادة تجميع التوقعات من جميع العمليات عند إجراء التقييم.
ملاحظة: يحدث هذا التجميع في جميع العمليات.
مثال:
>>> # Assuming four processes
>>> import torch
>>> from accelerate import Accelerator
>>> accelerator = Accelerator()
>>> process_tensor = torch.tensor([accelerator.process_index], device=accelerator.device)
>>> gathered_tensor = accelerator.gather(process_tensor)
>>> gathered_tensor
tensor([0, 1, 2, 3])gather_for_metrics
< source >( input_datause_gather_object = False )
المعاملات
- input_data (
torch.Tensor،object، أو tuple/list/dictionary متداخل منtorch.Tensor، أو tuple/list/dictionary متداخل منobject) — المصفوفات أو الكائنات المستخدمة لحساب المقاييس عبر جميع العمليات - use_gather_object(
bool) — ما إذا كان يجب إجبار استخدام gather_object بدلاً من gather (وهو ما يتم بالفعل إذا لم تحتوي جميع الكائنات الممررة على tensors). يمكن أن يكون هذا العلم مفيدًا لجمع tensors بأحجام مختلفة لا نريد ملئها (padding) أو دمجها (concatenate) على طول البُعد الأول. استخدام هذا العلم مع tensors على GPU غير مدعوم بشكل جيد وغير فعال لأنه يتسبب في نقل من GPU إلى CPU نظرًا لأن tensors ستُحزم (pickled).
يجمع input_data وقد يتخلص من العناصر المكررة في الدفعة الأخيرة إذا كان النظام موزعاً. ينبغي استخدامه لجمع المدخلات والأهداف لحساب المقاييس.
مثال:
>>> # Assuming two processes, with a batch size of 5 on a dataset with 9 samples
>>> import torch
>>> from accelerate import Accelerator
>>> accelerator = Accelerator()
>>> dataloader = torch.utils.data.DataLoader(range(9), batch_size=5)
>>> dataloader = accelerator.prepare(dataloader)
>>> batch = next(iter(dataloader))
>>> gathered_items = accelerator.gather_for_metrics(batch)
>>> len(gathered_items)
9get_state_dict
< source >( modelunwrap = True ) → dict
المعاملات
- model (
torch.nn.Module) — نموذج PyTorch مرّ عبر Accelerator.prepare() - unwrap (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان يجب إرجاع state_dict الأساسي الأصلي لـmodelأم إرجاع state_dict المُغلّف
يعيد
dict
قواميس الحالة للنموذج، ربما دون دقة كاملة.
يعيد قاموس الحالة لنموذج مرر عبر Accelerator.prepare()، وقد يكون ذلك دون دقة كاملة.
get_tracker
< source >( name: strunwrap: bool = False ) → GeneralTracker
يعيد tracker من self.trackers بناءً على name في العملية الرئيسية فقط.
join_uneven_inputs
< source >( joinableseven_batches = None )
المعاملات
- joinables (
list[torch.distributed.algorithms.Joinable]) — قائمة من النماذج أو المُحسِّنات التي ترث منtorch.distributed.algorithms.Joinable. في الغالب، يكون العنصر وحدة PyTorch تم تجهيزها باستخدامAccelerator.prepareللتدريب عبر DistributedDataParallel. - even_batches (
bool، اختياري) — إذا تم تعيينه، فسيتم تجاوز قيمةeven_batchesالمُعيّنة فيAccelerator. إذا لم يتم تقديمه، فسيتم استخدام القيمة الافتراضية لـAccelerator.
مدير سياق يسهّل التدريب أو التقييم الموزّع على مدخلات غير متساوية، ويعمل كغلاف حول torch.distributed.algorithms.join. يكون هذا مفيدًا عندما لا يقسم حجم الدفعة الإجمالي طول مجموعة البيانات بشكل متساوٍ.
join_uneven_inputsمدعوم فقط لتدريب Distributed Data Parallel على عدة وحدات معالجة رسومية. وفي أي تكوين آخر، لن يكون لهذا الأسلوب أي تأثير.
لن يؤثر تجاوز
even_batchesعلى محمّلات البيانات ذات النمط القابل للتكرار.
مثال:
>>> from accelerate import Accelerator
>>> accelerator = Accelerator(even_batches=True)
>>> ddp_model, optimizer, dataloader = accelerator.prepare(model, optimizer, dataloader)
>>> with accelerator.join_uneven_inputs([ddp_model], even_batches=False):
... for input, output in dataloader:
... outputs = model(input)
... loss = loss_func(outputs)
... loss.backward()
... optimizer.step()
... optimizer.zero_grad()load_state
< source >( input_dir: str | None = Noneload_kwargs: dict | None = None**load_model_func_kwargs )
المعاملات
- input_dir (
strأوos.PathLike) — اسم المجلد الذي تم حفظ جميع الأوزان والحالات ذات الصلة فيه. يمكن أن يكونNoneإذا تم استخدامautomatic_checkpoint_naming، وسيتم الاستحواذ على أحدث نقطة تفتيش. - load_kwargs (
dict، اختياري) — معلمات إضافية بالكلمات المفتاحية لدالةloadالأساسية، مثل المعلمات الاختيارية الخاصة بـ state_dict والمُحسِّن. - load_model_func_kwargs (
dict، اختياري) — معلمات إضافية بالكلمات المفتاحية لتحميل النموذج يمكن تمريرها إلى دالة التحميل الأساسية، مثل المعلمات الاختيارية لدالةload_checkpointفي DeepSpeed أوmap_locationلتحديد مكان تحميل النموذج والمُحسِّن.
يحمّل الحالات الحالية للنموذج، والمُحسِّن، والمُقيِّم، ومولّدات الأرقام العشوائية، والكائنات المسجّلة.
يجب استخدامه فقط بالتزامن مع Accelerator.save_state(). إذا لم يتم تسجيل ملف لأغراض إنشاء نقاط التفتيش، فلن يتم تحميله حتى لو كان مخزّنًا في المجلد.
يسمح للعملية الرئيسية المحلية بالدخول إلى كتلة with.
ستدخل العمليات الأخرى كتلة with بعد خروج العملية الرئيسية.
مثال:
>>> from accelerate import Accelerator
>>> accelerator = Accelerator()
>>> with accelerator.local_main_process_first():
... # This will be printed first by local process 0 then in a seemingly
... # random order by the other processes.
... print(f"This will be printed by process {accelerator.local_process_index}")ينفّذ المرور العكسي على مُحسّنات LOMO.
يسمح للعملية الرئيسية بالبدء أولاً داخل كتلة with.
ستدخل العمليات الأخرى كتلة with بعد خروج العملية الرئيسية.
مثال:
>>> from accelerate import Accelerator
>>> accelerator = Accelerator()
>>> with accelerator.main_process_first():
... # This will be printed first by process 0 then in a seemingly
... # random order by the other processes.
... print(f"This will be printed by process {accelerator.process_index}")maybe_context_parallel
< source >( buffers: list[torch.Tensor] | None = Nonebuffer_seq_dims: list[int] | None = Noneno_restore_buffers: set[torch.Tensor] | None = None )
المعاملات
- buffers (
list[torch.Tensor],optional) — المخازن المؤقتة التي سيتم تقسيمها على طول بُعد التسلسل. من الأمثلة الشائعة على ذلك المخازن المؤقتة الخاصة بالمدخلات أو التسميات أو تضمينات الموضع. سيقوم مدير السياق هذا بتعديل هذه المخازن المؤقتة في مكانها، وبعد الخروج من السياق، ستُستعاد المخازن المؤقتة إلى حالتها الأصلية. لتجنب عمليات الاستعادة غير الضرورية، يمكنك استخدامno_restore_buffersلتحديد المخازن المؤقتة التي لا تحتاج إلى استعادة. - buffer_seq_dims (
list[int],optional) — أبعاد التسلسل الخاصة بـbuffers. - no_restore_buffers (
set[torch.Tensor],optional) — يجب أن يكون هذا المجموعة فرعية منbuffers. يحدد أي من المخازن في معاملbuffersلن يتم استعادتها بعد خروج السياق. ستبقى هذه المخازن بعد ذلك في حالة مجزأة.
مدير سياق يتيح التدريب المتوازي للسياق.
context_parallelمدعوم حاليًا مع FSDP2 ويتطلبparallelism_config.cp_size>
- إذا لم تتحقق أيٌّ من هاتين الشرطين، فلن يكون لهذا مدير السياق أي تأثير، ومع ذلك، لتقليل عدد التعديلات المطلوبة على الكود، لن يرمي استثناءً.
يجب إعادة إنشاء مدير السياق هذا مع كل خطوة تدريب، كما هو موضح في المثال أدناه.
no_sync
< source >( model )
مدير سياق لتعطيل مزامنة التدرجات عبر عمليات DDP عن طريق استدعاء torch.nn.parallel.DistributedDataParallel.no_sync.
إذا لم يكن model في وضع DDP، فإن مدير السياق هذا لا يؤدي أي إجراء
مثال:
>>> from accelerate import Accelerator
>>> accelerator = Accelerator()
>>> dataloader, model, optimizer = accelerator.prepare(dataloader, model, optimizer)
>>> input_a = next(iter(dataloader))
>>> input_b = next(iter(dataloader))
>>> with accelerator.no_sync():
... outputs = model(input_a)
... loss = loss_func(outputs)
... accelerator.backward(loss)
... # No synchronization across processes, only accumulate gradients
>>> outputs = model(input_b)
>>> accelerator.backward(loss)
>>> # Synchronization across all processes
>>> optimizer.step()
>>> optimizer.zero_grad()on_last_process
< source >( function: Callable[..., Any] )
مُزيِّن (Decorator) يُنفِّذ الدالة المُزيَّنة على العملية الأخيرة فقط. يمكن أيضًا استدعاؤه باستخدام فئة PartialState.
on_local_main_process
< source >( function: Callable[..., Any] | None = None )
مُزيِّن (Decorator) يُنفِّذ الدالة المُزيَّنة على العملية الرئيسية المحلية فقط. يمكن أيضًا استدعاؤه باستخدام فئة PartialState.
مثال:
# Assume we have 2 servers with 4 processes each.
from accelerate import Accelerator
accelerator = Accelerator()
@accelerator.on_local_main_process
def print_something():
print("This will be printed by process 0 only on each server.")
print_something()
# On server 1:
"This will be printed by process 0 only"
# On server 2:
"This will be printed by process 0 only"on_local_process
< source >( function: Callable[..., Any] | None = Nonelocal_process_index: int | None = None )
مُزيِّن (Decorator) يُنفِّذ الدالة المُزيَّنة على فهرس العملية المحلية المحدد فقط. يمكن أيضًا استدعاؤه باستخدام فئة PartialState.
مثال:
# Assume we have 2 servers with 4 processes each.
from accelerate import Accelerator
accelerator = Accelerator()
@accelerator.on_local_process(local_process_index=2)
def print_something():
print(f"Printed on process {accelerator.local_process_index}")
print_something()
# On server 1:
"Printed on process 2"
# On server 2:
"Printed on process 2"on_main_process
< source >( function: Callable[..., Any] | None = None )
مُزيِّن (Decorator) يُنفِّذ الدالة المُزيَّنة على العملية الرئيسية فقط. يمكن أيضًا استدعاؤه باستخدام فئة PartialState.
on_process
< source >( function: Callable[..., Any] | None = Noneprocess_index: int | None = None )
مُزيِّن (Decorator) يُنفِّذ الدالة المُزيَّنة على فهرس عملية محددة فقط. يمكن أيضًا استدعاؤه باستخدام فئة PartialState.
pad_across_processes
< source >( tensordim = 0pad_index = 0pad_first = False ) → torch.Tensor, or a nested tuple/list/dictionary of torch.Tensor
المعاملات
- tensor (قائمة/مجموعة/قاموس متداخل من
torch.Tensor) — البيانات التي سيتم جمعها. - dim (
int، اختياري، القيمة الافتراضية 0) — البُعد الذي سيتم إضافة الحشو إليه. - pad_index (
int، اختياري، القيمة الافتراضية 0) — القيمة التي تُستخدم للتعبئة. - pad_first (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان يجب إضافة الحشو في البداية أم في النهاية.
يعيد
torch.Tensor، أو مجموعة/قائمة/قاموس متداخلة من torch.Tensor
المصفوفة (المصفوفات) المُكمّلة.
املأ الوسائط المتجهية (tensors) الموجودة في قائمة/مجموعة/قاموس متداخل من الوسائط المتجهية من جميع الأجهزة بشكل تكراري حتى تتطابق أحجامها، بحيث يمكن جمعها بأمان.
مثال:
>>> # Assuming two processes, with the first processes having a tensor of size 1 and the second of size 2
>>> import torch
>>> from accelerate import Accelerator
>>> accelerator = Accelerator()
>>> process_tensor = torch.arange(accelerator.process_index + 1).to(accelerator.device)
>>> padded_tensor = accelerator.pad_across_processes(process_tensor)
>>> padded_tensor.shape
torch.Size([2])prepare
< source >( *argsdevice_placement = None )
المعاملات
- *args (قائمة من الكائنات) —
أيٌّ من الأنواع التالية من الكائنات:
torch.utils.data.DataLoader: محمّل البيانات في PyTorchtorch.nn.Module: وحدة PyTorchtorch.optim.Optimizer: مُحسِّن PyTorchtorch.optim.lr_scheduler.LRScheduler: مُجدول معدل التعلم في PyTorch
- device_placement (
list[bool], اختياري) — يُستخدم لتخصيص ما إذا كان يجب تنفيذ التوزيع التلقائي للأجهزة لكل كائن مُمرَّر. يجب أن يكون قائمة بطول مطابق لطولargs. غير متوافق مع DeepSpeed أو FSDP.
جهّز جميع الكائنات المُمرَّرة في args للتدريب الموزّع والدقة المختلطة، ثم أعد إرجاعها بنفس الترتيب.
لا تحتاج إلى إعداد نموذج إذا كنت تستخدمه للاستدلال فقط دون أي نوع من الدقة المختلطة
أمثلة:
>>> from accelerate import Accelerator
>>> accelerator = Accelerator()
>>> # Assume a model, optimizer, data_loader and scheduler are defined
>>> model, optimizer, data_loader, scheduler = accelerator.prepare(model, optimizer, data_loader, scheduler)>>> from accelerate import Accelerator
>>> accelerator = Accelerator()
>>> # Assume a model, optimizer, data_loader and scheduler are defined
>>> device_placement = [True, True, False, False]
>>> # Will place the first two items passed in automatically to the right device but not the last two.
>>> model, optimizer, data_loader, scheduler = accelerator.prepare(
... model, optimizer, data_loader, scheduler, device_placement=device_placement
... )prepare_data_loader
< source >( data_loader: torch.utils.data.DataLoaderdevice_placement = Noneslice_fn_for_dispatch = None )
المعاملات
- data_loader (
torch.utils.data.DataLoader) — DataLoader قياسي من PyTorch لتحضير - device_placement (
bool، اختياري) — ما إذا كان سيتم وضع الدفعات على الجهاز المناسب في مُحمِّل البيانات المُعدّ أم لا. سيُستخدم افتراضيًاself.device_placement. - slice_fn_for_dispatch (
Callable, optional) -- If passed, this function will be used to slice tensors acrossnum_processes. Will default to [slice_tensors()](/docs/accelerate/v1.16.0/en/package_reference/utilities#accelerate.utils.slice_tensors). This argument is used only whendispatch_batchesis set toTrue` and will be ignored otherwise.
يُعدّ DataLoader من PyTorch للتدريب في أي تكوين موزّع. يُوصى باستخدام Accelerator.prepare() بدلاً من ذلك.
prepare_model
< source >( model: torch.nn.Moduledevice_placement: bool | None = Noneevaluation_mode: bool = False )
المعاملات
- model (
torch.nn.Module) — نموذج PyTorch يُحضَّر للاستخدام. لا حاجة إلى تحضير النموذج إذا كان يُستخدم للاستدلال فقط دون أي نوع من الدقة المختلطة - device_placement (
bool، اختياري) — ما إذا كان سيتم وضع النموذج على الجهاز المناسب أم لا. سيُستخدمself.device_placementافتراضيًا. - evaluation_mode (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم ضبط النموذج للتقييم فقط، من خلال تطبيق الدقة المختلطة وtorch.compile(إذا تم تكوينه في كائنAccelerator).
يُعدّ نموذج PyTorch للتدريب في أي تكوين موزّع. يُوصى باستخدام Accelerator.prepare() بدلاً من ذلك.
prepare_optimizer
< source >( optimizer: torch.optim.Optimizerdevice_placement = None )
يُعدّ مُحسِّن PyTorch للتدريب في أي تكوين موزّع. يُوصى باستخدام Accelerator.prepare() بدلاً من ذلك.
prepare_scheduler
< source >( scheduler: LRScheduler )
يُعدّ جدولة PyTorch للتدريب في أي تكوين موزّع. يُوصى باستخدام Accelerator.prepare() بدلاً من ذلك.
بديل مباشر لـ print() لطباعة مرة واحدة فقط لكل خادم.
الملف الشخصي
< source >( profile_handler: ProfileKwargs | None = None )
سيُجري الملف الشخصي (Profile) تحليلًا للكود داخل مُدير السياق. سيُحفظ الملف الشخصي في ملف Chrome Trace إذا تم تعيين profile_handler.output_trace_dir.
يمكن تمرير profile_handler مختلف لتجاوز ذلك المُعيَّن في كائن Accelerator.
مثال:
# Profile with default settings
from accelerate import Accelerator
from accelerate.utils import ProfileKwargs
accelerator = Accelerator()
with accelerator.profile() as prof:
train()
accelerator.print(prof.key_averages().table())
# Profile with the custom handler
def custom_handler(prof):
print(prof.key_averages().table(sort_by="self_cpu_time_total", row_limit=10))
kwargs = ProfileKwargs(schedule_option=dict(wait=1, warmup=1, active=1), on_trace_ready=custom_handler)
accelerator = Accelerator(kwarg_handler=[kwargs])
with accelerator.profile() as prof:
for _ in range(10):
train_iteration()
prof.step()
# Profile and export to Chrome Trace
kwargs = ProfileKwargs(output_trace_dir="output_trace")
accelerator = Accelerator(kwarg_handler=[kwargs])
with accelerator.profile():
train()اختزال
< source >( tensorreduction = 'sum'scale = 1.0 ) → torch.Tensor, or a nested tuple/list/dictionary of torch.Tensor
المعاملات
- tensor (
torch.Tensor، أو tuple/list/dictionary متداخلة منtorch.Tensor) — المصفوفات التي سيتم تقليلها عبر جميع العمليات. - reduction (
str، اختياري، القيمة الافتراضية “sum”) — نوع الاختزال، يمكن أن يكون أحد ‘sum’ أو ‘mean’ أو ‘max’ أو ‘none’. إذا كانت القيمة ‘none’، فلن يتم تنفيذ أي عملية. - scale (
float، اختياري، القيمة الافتراضية 1.0) — قيمة تحجيم افتراضية تُطبَّق بعد عملية الاختزال، وهي صالحة على XLA فقط.
يعيد
torch.Tensor، أو مجموعة/قائمة/قاموس متداخلة من torch.Tensor
الموترات المُختزَلة.
قلّل القيم في tensor عبر جميع العمليات بناءً على reduction.
ملاحظة: تستلم جميع العمليات القيمة المُخفَّضة.
مثال:
>>> # Assuming two processes
>>> import torch
>>> from accelerate import Accelerator
>>> accelerator = Accelerator()
>>> process_tensor = torch.arange(accelerator.num_processes) + 1 + (2 * accelerator.process_index)
>>> process_tensor = process_tensor.to(accelerator.device)
>>> reduced_tensor = accelerator.reduce(process_tensor, reduction="sum")
>>> reduced_tensor
tensor([4, 6])يسجّل objects ويحفظها أو يحمّلها أثناء save_state أو load_state.
يجب استخدام هذه عند تحميل الحالة أو حفظها في نفس السكربت. لم يتم تصميمها للاستخدام في سكربتات مختلفة.
يجب أن يحتوي كل
objectعلى دالتيload_state_dictوstate_dictليتم تخزينه.
register_load_state_pre_hook
< source >( hook: Callable[..., None] ) → torch.utils.hooks.RemovableHandle
المعاملات
- hook (
Callable) — دالة تُستدعى في Accelerator.load_state() قبلload_checkpoint.
يعيد
torch.utils.hooks.RemovableHandle
مقبض يمكن استخدامه لإزالة الخطاف المضاف عن طريق استدعاء
handle.remove()
يسجّل خطافًا مسبقًا (pre hook) يُنفَّذ قبل استدعاء load_checkpoint في Accelerator.load_state().
يجب أن يكون للتوقيع التالي:
hook(models: list[torch.nn.Module], input_dir: str) -> None
الحجة models هي النماذج كما تم حفظها في حالة المُسرِّع تحت accelerator._models، والحجة input_dir هي الحجة input_dir المُمرَّرة إلى Accelerator.load_state().
يجب استخدامه فقط بالتزامن مع Accelerator.register_save_state_pre_hook(). قد يكون مفيدًا لتحميل الإعدادات بالإضافة إلى أوزان النموذج. كما يمكن استخدامه لتجاوز تحميل النموذج بطريقة مخصصة. في هذه الحالة، تأكد من إزالة النماذج المحمّلة مسبقًا من قائمة النماذج.
register_save_state_pre_hook
< source >( hook: Callable[..., None] ) → torch.utils.hooks.RemovableHandle
المعاملات
- hook (
Callable) — دالة تُستدعى في Accelerator.save_state() قبلsave_checkpoint.
يعيد
torch.utils.hooks.RemovableHandle
مقبض يمكن استخدامه لإزالة الخطاف المضاف عن طريق استدعاء
handle.remove()
يسجّل خطافًا مسبقًا (pre hook) يُنفَّذ قبل استدعاء save_checkpoint في Accelerator.save_state().
يجب أن يكون للتوقيع التالي:
hook(models: list[torch.nn.Module], weights: list[dict[str, torch.Tensor]], input_dir: str) -> None
الحجة models هي النماذج كما تم حفظها في حالة المُسرِّع تحت accelerator._models، والحجة weights هي قواميس الحالة الخاصة بـ models، والحجة input_dir هي الحجة input_dir المُمرَّرة إلى Accelerator.load_state().
يجب استخدامه فقط بالتزامن مع Accelerator.register_load_state_pre_hook(). قد يكون مفيدًا لحفظ الإعدادات بالإضافة إلى أوزان النموذج. يمكن أيضًا استخدامه لتجاوز حفظ النموذج بطريقة مخصصة. في هذه الحالة، تأكد من إزالة الأوزان المحمّلة مسبقًا من قائمة الأوزان.
حفظ
< source >( objfsafe_serialization = False )
احفظ الكائن المُمرَّر على القرص مرة واحدة لكل جهاز. استخدمه بدلاً من torch.save.
ملاحظة:
إذا تم تمرير save_on_each_node كـ ProjectConfiguration، فسيتم حفظ الكائن مرة واحدة لكل عقدة،
بدلاً من الحفظ مرة واحدة فقط على العقدة الرئيسية.
save_model
< source >( model: torch.nn.Modulesave_directory: Union[str, os.PathLike]max_shard_size: Union[int, str] = '10GB'safe_serialization: bool = True )
المعاملات
- model — (
torch.nn.Module): النموذج المراد حفظه. يمكن أن يكون النموذج مغلفًا أو غير مغلف. - save_directory (
strأوos.PathLike) — المجلد الذي سيتم الحفظ فيه. سيتم إنشاؤه إذا لم يكن موجودًا. - max_shard_size (
intأوstr, اختياري, الافتراضي هو"10GB") — الحد الأقصى لحجم نقطة التفتيش قبل تقسيمها إلى أجزاء. ستكون نقاط التفتيش المقسمة كل منها بحجم أقل من هذا الحجم. إذا تم التعبير عنه كنص، فيجب أن يتكون من أرقام متبوعة بوحدة (مثل"5MB").إذا كان وزن واحد من النموذج أكبر من
max_shard_size، فسيكون في شريحة نقطة تحقق خاصة به ستكون أكبر منmax_shard_size. - safe_serialization (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان سيتم حفظ النموذج باستخدامsafetensorsأو بالطريقة التقليدية الخاصة بـ PyTorch (التي تستخدمpickle).
احفظ نموذجًا بحيث يمكن إعادة تحميله باستخدام load_checkpoint_in_model
save_state
< source >( output_dir: str | None = Nonesafe_serialization: bool = True**save_model_func_kwargs )
المعاملات
- output_dir (
strأوos.PathLike) — اسم المجلد الذي تُحفظ فيه جميع الأوزان والحالات ذات الصلة. - safe_serialization (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان سيتم حفظ النموذج باستخدامsafetensorsأو بالطريقة التقليدية الخاصة بـ PyTorch (التي تستخدمpickle). - save_model_func_kwargs (
dict, اختياري) — معلمات إضافية بالكلمات المفتاحية لحفظ النموذج يمكن تمريرها إلى دالة الحفظ الأساسية، مثل المعلمات الاختيارية لدالةsave_checkpointفي DeepSpeed.
يحفظ الحالات الحالية للنموذج، والمُحسِّن، والمُقيِّم، ومولّدات الأرقام العشوائية، والكائنات المسجّلة في مجلد.
إذا تم تمرير ProjectConfiguration إلى كائن Accelerator مع تفعيل automatic_checkpoint_naming
فسيتم حفظ نقاط التفتيش في self.project_dir/checkpoints. إذا كان عدد الحفظات الحالية أكبر
من total_limit فسيتم حذف أقدم حفظ. يُحفظ كل نقطة تفتيش في مجلدات منفصلة تُسمى checkpoint_<iteration>.
وإلا تُحفظ فقط في output_dir.
يجب استخدامه فقط عند الرغبة في حفظ نقطة تفتيش أثناء التدريب واستعادة الحالة في نفس البيئة.
يُعيّن الموتر المحفّز الداخلي إلى 1 في العملية الحالية. يجب أن يتبع ذلك فحص لاحق باستخدام هذا الأمر، والذي سيقوم بالتحقق عبر جميع العمليات.
ملاحظة:
لا يتطلب wait_for_everyone()
مثال:
>>> from accelerate import Accelerator
>>> accelerator = Accelerator()
>>> # Assume later in the training script
>>> # `should_do_breakpoint` is a custom function to monitor when to break,
>>> # e.g. when the loss is NaN
>>> if should_do_breakpoint(loss):
... accelerator.set_trigger()
>>> # Assume later in the training script
>>> if accelerator.check_breakpoint():
... breakskip_first_batches
< source >( dataloadernum_batches: int = 0 )
ينشئ torch.utils.data.DataLoader جديدًا يتخطى بكفاءة أول num_batches.
مثال:
>>> from accelerate import Accelerator
>>> accelerator = Accelerator()
>>> dataloader, model, optimizer, scheduler = accelerator.prepare(dataloader, model, optimizer, scheduler)
>>> skipped_dataloader = accelerator.skip_first_batches(dataloader, num_batches=2)
>>> # for the first epoch only
>>> for input, target in skipped_dataloader:
... optimizer.zero_grad()
... output = model(input)
... loss = loss_func(output, target)
... accelerator.backward(loss)
... optimizer.step()
>>> # subsequent epochs
>>> for input, target in dataloader:
... optimizer.zero_grad()
... ...split_between_processes
< source >( inputs: list | tuple | dict | torch.Tensorapply_padding: bool = False )
المعاملات
- inputs (
listأوtupleأوtorch.Tensorأوdictمنlist/tuple/torch.Tensor) — المدخلات التي سيتم تقسيمها بين العمليات. - apply_padding (
bool,optional, defaults toFalse) — Whether to apply padding by repeating the last element of the input so that all processes have the same number of elements. Useful when trying to perform actions such asAccelerator.gather()on the outputs or passing in less inputs than there are processes. If so, just remember to drop the padded elements afterwards.
يقسم input بسرعة بين self.num_processes ويمكن استخدامه بعد ذلك على تلك العملية. مفيد عند تنفيذ الاستدلال الموزّع، مثل استخدام أوامر مختلفة.
لاحظ أنه عند استخدام dict، يجب أن تحتوي جميع المفاتيح على نفس عدد العناصر.
مثال:
# Assume there are two processes
from accelerate import Accelerator
accelerator = Accelerator()
with accelerator.split_between_processes(["A", "B", "C"]) as inputs:
print(inputs)
# Process 0
["A", "B"]
# Process 1
["C"]
with accelerator.split_between_processes(["A", "B", "C"], apply_padding=True) as inputs:
print(inputs)
# Process 0
["A", "B"]
# Process 1
["C", "C"]trigger_sync_in_backward
< source >( model )
تفعيل مزامنة التدرّجات في مسار الرجوع التالي للنموذج بعد عدة مسارات أمامية تحت Accelerator.no_sync (تنطبق فقط في سيناريوهات متعددة وحدات معالجة الرسوميات).
إذا لم يُشغَّل السكربت في وضع التوزيع، فإن مدير السياق هذا لا يؤدي أي إجراء.
مثال:
>>> from accelerate import Accelerator
>>> accelerator = Accelerator()
>>> dataloader, model, optimizer = accelerator.prepare(dataloader, model, optimizer)
>>> with accelerator.no_sync():
... loss_a = loss_func(model(input_a)) # first forward pass
... loss_b = loss_func(model(input_b)) # second forward pass
>>> accelerator.backward(loss_a) # No synchronization across processes, only accumulate gradients
>>> with accelerator.trigger_sync_in_backward(model):
... accelerator.backward(loss_b) # Synchronization across all processes
>>> optimizer.step()
>>> optimizer.zero_grad()unscale_gradients
< source >( optimizer = None )
المعاملات
- optimizer (
torch.optim.Optimizerأوlist[torch.optim.Optimizer]، اختياري) — المُحسِّن (أو المُحسِّنات) التي سيتم إلغاء توسيع التدرجات الخاصة بها. إذا لم يتم تعيينه، فسيتم إلغاء توسيع التدرجات لجميع المُحسِّنات التي تم تمريرها إلى prepare().
قم بإلغاء توسيع التدرجات في التدريب بدقة مختلطة باستخدام AMP. هذا إجراء لا شيء في جميع الإعدادات الأخرى.
من المرجح أن يُستدعى عبر Accelerator.clipgrad_norm() أو Accelerator.clipgrad_value()
unwrap_model
< source >( modelkeep_fp32_wrapper: bool = Truekeep_torch_compile: bool = True ) → torch.nn.Module
المعاملات
- model (
torch.nn.Module) — النموذج الذي سيتم فك تغليفه. - keep_fp32_wrapper (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان يجب عدم إزالة خطاف الدقة المختلطة إذا كان قد أُضيف. - keep_torch_compile (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان يجب عدم فك تغليف النموذج المُجمَّع إذا كان مُجمَّعًا.
يعيد
torch.nn.Module
النموذج غير المُغلّف.
يفكّك model من الطبقة الإضافية التي قد يضيفها prepare(). مفيد قبل حفظ النموذج.
مثال:
>>> # Assuming two GPU processes
>>> from torch.nn.parallel import DistributedDataParallel
>>> from accelerate import Accelerator
>>> accelerator = Accelerator()
>>> model = accelerator.prepare(MyModel())
>>> print(model.__class__.__name__)
DistributedDataParallel
>>> model = accelerator.unwrap_model(model)
>>> print(model.__class__.__name__)
MyModelيتحقق من أن model لم يُجهَّز للاستدلال على نماذج كبيرة باستخدام خريطة أجهزة تشبه auto.
توقف تنفيذ العملية الحالية حتى تصل جميع العمليات الأخرى إلى تلك النقطة (لذا لا يؤدي هذا الأمر أي شيء عند تشغيل السكربت في عملية واحدة فقط). مفيد للقيام به قبل حفظ النموذج.
مثال:
>>> # Assuming two GPU processes
>>> import time
>>> from accelerate import Accelerator
>>> accelerator = Accelerator()
>>> if accelerator.is_main_process:
... time.sleep(2)
>>> else:
... print("I'm waiting for the main process to finish its sleep...")
>>> accelerator.wait_for_everyone()
>>> # Should print on every process at the same time
>>> print("Everyone is here")أدوات
accelerate.utils.gather_object
< source >( object: Any )
اجمع كائنًا بشكل تكراري من قائمة/مجموعة/قاموس متداخل من الكائنات من جميع الأجهزة.