Transformers documentation

أربعة من ستة

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

أربعة من ستة

Four Over Six هو متغيّر من تكميم NVFP4 يقوم بتقريب القيمة الأكبر في كل كتلة مكوّنة من 16 قيمة من نوع FP4 إلى 4 أو 6، باختيار القيمة التي تُنتج خطأ تكميم أقل. يستخدم مقياس 6 نطاق FP4 بالكامل، بينما يوزّع مقياس 4 الخطأ بشكل أكثر تساويًا عبر الكتلة. استخدمه لتكميم النموذج إلى FP4 أثناء تحميله، أو لمواصلة تدريب النموذج بأوزان من نوع FP4.

تلخص الجدول أدناه ما يدعمه Four Over Six في Transformers.

إعدادFourOverSixConfig
quant_methodfouroversix
سير العملQuantize while loading
بت4
الأجهزةCUDA (الأسرع على NVIDIA Blackwell)، مع خيار احتياطي أبطأ على الأجهزة الأخرى
حفظ✅
ضبطفقط عند استخدام keep_master_weights=True
التجميع التلقائي❌

تثبيت Four Over Six

قم بتثبيت حزمة fouroversix دون عزل البناء.

pip install fouroversix --no-build-isolation

تقوم عملية التثبيت ببناء نواة CUDA التي تتطلب معالجًا رسوميًا من نوع Blackwell. على الأجهزة الأخرى، اضبط SKIP_CUDA_BUILD=1 لتثبيت التنفيذ المرجعي الأبطأ فقط.

SKIP_CUDA_BUILD=1 pip install fouroversix --no-build-isolation

كمّ نموذج باستخدام Four Over Six

أنشئ FourOverSixConfig وقم بتمريره إلى from_pretrained(). يقوم الإعداد الافتراضي بتكميم كل طبقة خطية باستثناء lm_head إلى NVFP4.

from transformers import AutoModelForCausalLM, FourOverSixConfig

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=FourOverSixConfig(),
    device_map="cuda",
)

The source text "Configure Four Over Six" is a technical term referring to a specific network configuration (4:6). In Arabic technical documentation, this is often transliterated or translated descriptively. "إعداد أربعة على ستة" is the direct and accurate translation.

تُغيّر هذه المعلمات الخاصة بـ FourOverSixConfig طريقة تكميم الأوزان والتفعيلات. ولدى معظمها أيضًا متغيرات weight_ وactivation_ وgradient_ تتجاوز الإعداد الخاص بنوع واحد من الموترات.

معاملافتراضيالتأثير
dtype"nvfp4"صيغة FP4 للأوزان والتفعيلات والتدرجات، إما "nvfp4" أو "mxfp4".
scale_rule"mse"كيف يتم اختيار مقياس كل كتلة. "mse"، "mae"، و"abs_max" تختار بين 4 و6 بناءً على مقياس الخطأ ذلك. "static_6" هو تكميم NVFP4 القياسي، و"static_4" يضبط مقياس كل كتلة إلى 4.
keep_master_weightsFalseيحافظ على الأوزان عالية الدقة ويقوم بتكميمها في كل تمريرة أمامية. مطلوب للتدريب.
weight_scale_2dFalseيحسب مقاييس الأوزان على كتل ثنائية الأبعاد بدلاً من الكتل أحادية البعد. استخدمه للتدريب.
matmul_backendNoneخلفية Matmul، إما "cutlass" أو "pytorch". عند استخدام None، يتم استخدام CUTLASS عندما يكون متاحًا.
module_config_overridesNoneيُخوّل أسماء الوحدات إلى قواميس لخيارات التكميم، مما يتيح للطبقات الفردية استخدام إعدادات مختلفة.

راجع FourOverSixConfig لمعرفة بقية المعاملات.

التدريب بأوزان مُكمّمة

يتميز طبقة Four Over Six الخطية بمرحلة رجعية، مما يتيح لك مواصلة تدريب نموذج مُكمَّم. اضبط keep_master_weights=True بحيث تبقى الأوزان عالية الدقة في الذاكرة وتُكمَّم مرة أخرى في كل تمريرة أمامية، واضبط weight_scale_2d=True كما يوصي به التكوين للتدريب.

يوصي مؤلفو Four Over Six بإبقاء الطبقات الأخيرة من الشبكة بدقة عالية. يستثني المثال أدناه أيضاً إسقاطات الانتباه في طبقة المُفكِّك 34. أضف طبقات إضافية، مثل self_attn.o_proj وإسقاطات MLP، حسب الحاجة.

from transformers import AutoModelForCausalLM, FourOverSixConfig

quantization_config = FourOverSixConfig(
    keep_master_weights=True,
    weight_scale_2d=True,
    modules_to_not_convert=[
        "lm_head",
        "model.layers.34.self_attn.q_proj",
        "model.layers.34.self_attn.k_proj",
        "model.layers.34.self_attn.v_proj",
    ],
)
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=quantization_config,
    device_map="cuda",
)

القيود

  • بدون keep_master_weights=True، لا يمكن ضبط النموذج المُكمَّم.
  • على الأجهزة غير وحدات معالجة الرسوميات NVIDIA Blackwell، يحاكي Four Over Six دقة FP4 باستخدام عمليات ضرب المصفوفات بدقة FP32، مما يؤدي إلى فقدان الدقة الخاص بدقة FP4 دون تحقيق أي تسريع.

الموارد

Update on GitHub