Accelerate documentation
مُشغِّلات
مُشغِّلات
دوال لإطلاق التدريب على عمليات موزعة.
notebook_launcher
accelerate.notebook_launcher
< source >( functionargs = ()num_processes = Nonemixed_precision = 'no'use_port = '29500'master_addr = '127.0.0.1'node_rank = 0num_nodes = 1rdzv_backend = 'static'rdzv_endpoint = ''rdzv_conf = Nonerdzv_id = 'none'max_restarts = 0monitor_interval = 0.1log_line_prefix_template = None )
المعاملات
- function (
Callable) — دالة التدريب التي سيتم تنفيذها. إذا كانت تقبل حُججًا، فيجب أن يكون الحُجّة الأولى هو فهرس العملية المنفذة. - args (
Tuple) — مجموعة من الحُجج (arguments) التي سيتم تمريرها إلى الدالة (ستستقبل*args). - num_processes (
int، اختياري) — عدد العمليات المستخدمة للتدريب. سيُستخدم 8 افتراضيًا في Colab/Kaggle إذا كان TPU متاحًا، وإلا فسيُستخدم عدد الأجهزة المتاحة. - mixed_precision (
str، اختياري، القيمة الافتراضية"no") — إذا كانت القيمةfp16أوbf16، فسيتم استخدام التدريب بدقة مختلطة على أجهزة متعددة. - use_port (
str، اختياري، القيمة الافتراضية"29500") — المنفذ المستخدم للتواصل بين العمليات عند بدء تدريب متعدد الأجهزة. - master_addr (
str، اختياري، القيمة الافتراضية"127.0.0.1") — العنوان المستخدم للتواصل بين العمليات. - node_rank (
int، اختياري، القيمة الافتراضية 0) — ترتيب العقدة الحالية. - num_nodes (
int، اختياري، القيمة الافتراضية 1) — عدد العقد المستخدمة للتدريب. - rdzv_backend (
str، اختياري، القيمة الافتراضية"static") — طريقة الالتقاء (rendezvous) المستخدمة، مثل ‘static’ (الافتراضي) أو ‘c10d’ - rdzv_endpoint (
str، اختياري، القيمة الافتراضية"") — نقطة نهاية مزامنة تخزين rdzv. - rdzv_conf (
Dict، اختياري، القيمة الافتراضيةNone) — إعدادات إضافية للقاء (rendezvous). - rdzv_id (
str، اختياري، القيمة الافتراضية"none") — المعرّف الفريد لتشغيل المهمة. - max_restarts (
int، اختياري، القيمة الافتراضية 0) — الحد الأقصى لعدد مرات إعادة التشغيل التي سيقوم بها وكيل المرونة على العمال قبل الفشل. - monitor_interval (
float، اختياري، القيمة الافتراضية 0.1) — الفاصل الزمني بالثواني الذي يستخدمه elastic_agent كفترة لمراقبة العمال. - log_line_prefix_template (
str، اختياري، القيمة الافتراضيةNone) — قالب البادئة لتسجيل عمليات الإقلاع المرنة. متاح بدءًا من PyTorch 2.2.0.
يطلق دالة تدريب، باستخدام عدة عمليات أو عقد متعددة إذا كان ذلك ممكناً في البيئة الحالية (على سبيل المثال، وحدة معالجة TPU متعددة النوى).
لاستخدام هذه الدالة، يجب ألا يتم إجراء أي استدعاءات إلى جهاز على الإطلاق في جلسة الدفتر قبل الاستدعاء. إذا تم إجراء أي استدعاءات، فستحتاج إلى إعادة تشغيل الدفتر والتأكد من عدم استخدام أي خلية لأي ميزة من ميزات الجهاز.
إعداد
ACCELERATE_DEBUG_MODE="1"في بيئة التشغيل الخاصة بك سيقوم بتشغيل اختبار قبل الإطلاق الفعلي للتأكد من عدم تنفيذ أيٍّ من تلك الاستدعاءات.
debug_launcher
accelerate.debug_launcher
< source >( functionargs = ()num_processes = 2 )
يطلق دالة تدريب باستخدام عدة عمليات على وحدة المعالجة المركزية لأغراض تصحيح الأخطاء.
تُوفَّر هذه الدالة لأغراض الاختبار والتصحيح الداخلي، لكنها ليست مخصصة للتدريبات الفعلية. ستستخدم وحدة المعالجة المركزية (CPU) فقط.