Accelerate documentation

التدريب على وحدات TPU

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

التدريب على وحدات TPU

قد يختلف التدريب على وحدات TPU قليلاً عن التدريب على وحدات GPU متعددة، حتى عند استخدام Accelerate. يهدف هذا الدليل إلى إظهار الأماكن التي يجب أن تكون فيها حذراً والسبب وراء ذلك، بالإضافة إلى أفضل الممارسات بشكل عام.

التدريب في دفتر ملاحظات

يتمثل النقطة الرئيسية التي يجب مراعاتها عند التدريب على وحدات TPU في notebook_launcher(). وكما ذُكر في دليل notebook التعليمي، عليك إعادة هيكلة كود التدريب الخاص بك إلى دالة يمكن تمريرها إلى دالة notebook_launcher()، مع الحرص على عدم إعلان أي متجهات (tensors) على وحدة GPU.

في حين أن الجزء الأخير ليس مهماً بالقدر نفسه على TPU، فإن جزءاً حاسماً يجب فهمه هو أنه عند تشغيل الكود من دفتر ملاحظات، فإنك تفعل ذلك عبر عملية تُسمى التشعّب. عند التشغيل من سطر الأوامر، تقوم بـ إنشاء عملية، حيث لا تكون هناك عملية Python قيد التشغيل حالياً، فتقوم بإنشاء عملية جديدة. وبما أن دفتر ملاحظات Jupyter الخاص بك يستخدم بالفعل عملية Python، فإنك بحاجة إلى تشعّب عملية جديدة منها لتشغيل الكود الخاص بك.

تكتسب هذه النقطة أهمية خاصة فيما يتعلق بإعلان النموذج. في عمليات TPU المتفرعة، يُوصى بإنشاء نموذجك مرة واحدة ثم تمرير هذا النموذج إلى دالة التدريب الخاصة بك. وهذا يختلف عن التدريب على وحدات GPU حيث تقوم بإنشاء n نماذج يتم مزامنة تدرجاتها وإرجاعها في لحظات معينة. بدلاً من ذلك، يتم مشاركة نموذج واحد بين جميع العقد ويُمرَّر ذهاباً وإياباً. وهذا أمر مهم بشكل خاص عند التدريب على وحدات TPU ذات الموارد المحدودة، مثل تلك المتوفرة في نواة Kaggle أو على Google Colaboratory.

فيما يلي مثال على دالة تدريب تُمرَّر إلى notebook_launcher() عند التدريب على وحدات المعالجة المركزية أو وحدات معالجة الرسومات:

يستند هذا المقطع من الكود إلى المقطع الموجود في دفتر الملاحظات simple_nlp_example المتاح هنا مع تعديلات طفيفة من أجل التبسيط

def training_function():
    # Initialize accelerator
    accelerator = Accelerator()
    model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=2)
    train_dataloader, eval_dataloader = create_dataloaders(
        train_batch_size=hyperparameters["train_batch_size"], eval_batch_size=hyperparameters["eval_batch_size"]
    )

    # Instantiate optimizer
    optimizer = AdamW(params=model.parameters(), lr=hyperparameters["learning_rate"])

    # Prepare everything
    # There is no specific order to remember, we just need to unpack the objects in the same order we gave them to the
    # prepare method.
    model, optimizer, train_dataloader, eval_dataloader = accelerator.prepare(
        model, optimizer, train_dataloader, eval_dataloader
    )

    num_epochs = hyperparameters["num_epochs"]
    # Now we train the model
    for epoch in range(num_epochs):
        model.train()
        for step, batch in enumerate(train_dataloader):
            outputs = model(**batch)
            loss = outputs.loss
            accelerator.backward(loss)

            optimizer.step()
            optimizer.zero_grad()
from accelerate import notebook_launcher

notebook_launcher(training_function)

سيستخدم notebook_launcher 8 عمليات افتراضيًا إذا تم تكوين Accelerate لـ TPU

إذا استخدمت هذا المثال وأعلنت النموذج داخل حلقة التدريب، فقد ترى خطأً على نظام محدود الموارد يشبه ما يلي:

ProcessExitedException: process 0 terminated with signal SIGSEGV

هذا الخطأ غامض للغاية لكن الشرح الأساسي هو أنك نفدت ذاكرة النظام. يمكنك تجنب ذلك تمامًا بإعادة تكوين دالة التدريب لقبول معامل model واحد، وإعلانه في خلية خارجية:

# In another Jupyter cell
model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=2)
+ def training_function(model):
      # Initialize accelerator
      accelerator = Accelerator()
-     model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=2)
      train_dataloader, eval_dataloader = create_dataloaders(
          train_batch_size=hyperparameters["train_batch_size"], eval_batch_size=hyperparameters["eval_batch_size"]
      )
  ...

وأخيرًا استدعاء دالة التدريب مع:

  from accelerate import notebook_launcher
- notebook_launcher(training_function)
+ notebook_launcher(training_function, (model,))

لا يُعدّ الحل البديل المذكور أعلاه ضرورياً إلا عند تشغيل مثيل TPU من دفتر Jupyter Notebook على خادم محدود الموارد مثل Google Colaboratory أو Kaggle. أما عند استخدام سكربت أو التشغيل على خادم أقوى بكثير، فلا حاجة إلى إعلان النموذج مسبقاً.

الدقة المختلطة والمتغيرات العامة

كما ذُكر في قسم الدقة المختلطة من دليل الترحيل، يدعم Accelerate كلًا من fp16 وbf16، وكلاهما يمكن استخدامه على وحدات TPU. ومع ذلك، يُفضَّل استخدام bf16 بشكل مثالي نظرًا لكفاءته العالية جدًا.

توجد طبقتان عند استخدام bf16 و Accelerate على وحدات TPU، إحداهما على المستوى الأساسي والأخرى على مستوى العمليات.

على المستوى الأساسي، يتم تفعيل ذلك عند تمرير mixed_precision="bf16" إلى Accelerator، على النحو التالي:

accelerator = Accelerator(mixed_precision="bf16")

بشكل افتراضي، سيؤدي هذا إلى تحويل torch.float وtorch.double إلى bfloat16 على وحدات TPU. الإعداد المحدد الذي يتم ضبطه هو متغير بيئي حيث يُضبط XLA_USE_BF16 على 1.

هناك إعداد إضافي يمكنك تنفيذه وهو تعيين متغير البيئة XLA_DOWNCAST_BF16. إذا تم تعيينه إلى 1، فإن torch.float يصبح bfloat16 وtorch.double يصبح float32.

يتم تنفيذ ذلك في كائن Accelerator عند تمرير downcast_bf16=True:

accelerator = Accelerator(mixed_precision="bf16", downcast_bf16=True)

يُعدّ استخدام التحويل إلى نوع أصغر (downcasting) بدلاً من bf16 في كل مكان مفيداً عند محاولة حساب المقاييس وتسجيل القيم وغيرها من العمليات التي لا يمكن فيها استخدام توترات bf16 الخام.

أوقات التدريب على وحدات TPU

عند تشغيل سكربت، قد تلاحظ أن التدريب يبدو بطيئاً بشكل استثنائي في البداية. والسبب في ذلك أن وحدات TPU تقوم أولاً بتشغيل عدد قليل من دفعات البيانات (batches) لمعرفة مقدار الذاكرة التي يجب تخصيصها، قبل أن تستخدم هذا التخصيص المُعدّ للذاكرة بكفاءة فائقة.

إذا لاحظت أن كود التقييم الخاص بك لحساب مقاييس أداء النموذج يستغرق وقتًا أطول بسبب استخدام حجم دفعة أكبر، فيُوصى بإبقاء حجم الدفعة مطابقًا لحجم بيانات التدريب إذا كان البطء شديدًا. وإلا فسيتم إعادة تخصيص الذاكرة لهذا الحجم الجديد من الدفعة بعد أول بضع تكرارات.

مجرد تخصيص الذاكرة لا يعني أنها ستُستخدم أو أن حجم الدفعة (batch size) سيزداد عند العودة إلى مُحمِّل بيانات التدريب الخاص بك.

Update on GitHub