Intel Gaudi

يمكن للمستخدمين الاستفادة من معالجات Intel Gaudi AI لتدريب النماذج والاستدلال بسرعة أكبر بكثير وبكفاءة تكلفة أعلى. تشمل عائلة معالجات Intel Gaudi AI حاليًا ثلاثة أجيال من المنتجات: Intel Gaudi 1 وIntel Gaudi 2 وIntel Gaudi 3. كل خادم مزوّد بثمانية أجهزة تُعرف بوحدات معالجة Habana (HPUs)، مما يوفر 128 جيجابايت من الذاكرة على Gaudi 3، و96 جيجابايت على Gaudi 2، و32 جيجابايت على Gaudi من الجيل الأول. لمزيد من التفاصيل حول بنية العتاد الأساسية، راجع نظرة عامة على بنية Gaudi.

كيف يعمل دون أي إعداد مسبق

يتم تفعيله افتراضيًا إذا تم اكتشاف جهاز Intel Gaudi. لإيقافه، مرّر علم --cpu إلى أمر accelerate launch أو أجب عن السؤال المقابل عند الإجابة على استبيان accelerate config.

يمكنك تشغيل النص البرمجي التالي مباشرةً لاختباره على Intel Gaudi:

accelerate launch /examples/cv_example.py --data_dir images

القيود

الميزات التالية ليست جزءاً من مكتبة Accelerate وتتطلب Optimum for Intel Gaudi:

• fast_ddp الذي يطبّق DDP من خلال تطبيق all-reduce على التدرّجات بدلاً من غلاف Torch DDP.
• minimize_memory الذي يُستخدم لتدريب fp8 ويتيح إبقاء أوزان fp8 في الذاكرة بين المرورين الأمامي والعكسي، مما يؤدي إلى بصمة ذاكرة أصغر مقابل تكاليف إضافية لتحويلات fp8.
• context_parallel_size الذي يُستخدم لتوازي السياق/التسلسل (CP/SP) ويقسّم مدخلات الشبكة والتفعيلات على طول بُعد التسلسل لتقليل بصمة الذاكرة وزيادة الإنتاجية.