فئة مُصدِّر Auto-HF التي تتولى إنشاء HfExporter الصحيح تلقائيًا بناءً على ExportConfig.

فئة إعدادات التصدير Auto-HF التي تتولى تلقائيًا توجيه الطلب إلى فئة إعدادات التصدير الصحيحة بناءً على إعدادات التصدير المخزنة في قاموس.

سجّل مُصدِّرًا، مع config_class الخاص به، تحت export_format الخاص به، والمُشغِّل الذي ينفّذ تصديراته، حتى تجد فئات auto هذه العناصر.

فئة أساسية مجردة لجميع مُصدِّرات Transformers.

لإضافة واجهة خلفية، قم بإنشاء فئة فرعية وتنفيذ ~HfExporter.export_program لتتبع رسم بياني واحد، و~HfExporter.save_program / ~HfExporter.load_program لكتابته وقراءته مرة أخرى. وتقوم الدوال العامة ~HfExporter.export و~HfExporter.export_for_generation ببناء ExportedModel فوقها.

نموذج مُصدَّر: رسومه (components، {name: ExportedComponent}) والإعدادات التي تم تتبعها مقابلها، تُستدعى بالطريقة التي تستدعى بها النموذج الذي اشتُق منه.

~HfExporter.export ينتج مكوّنًا واحدًا باسم "model"، حيث يكون برنامجه .program؛ بينما ينتج ~HfExporter.export_for_generation مكوّنًا واحدًا لكل مرحلة من مراحل التوليد.

>>> exported = OnnxExporter().export(model, inputs, OnnxConfig(dynamic=True))
>>> exported.save_pretrained("exported")
>>> outputs = ExportedModel.from_pretrained("exported", device="cuda")(**inputs)
>>> outputs.last_hidden_state

مخطط واحد مُصدَّر: برنامج الخلفية، وما سجّله المُصدِّر عنه.

ما سجّله المُصدِّر عن رسم بياني واحد (build_export_metadata()).

تشغّل برنامجًا مُصدَّرًا واحدًا على نظام التشغيل الخاص به: يعيد runner(**kwargs) ما يعيده النموذج المصدر.

مُصدِّر يقوم بتحويل PreTrainedModel إلى ExportedProgram.

>>> from transformers.exporters.exporter_dynamo import DynamoExporter, DynamoConfig

>>> exporter = DynamoExporter()
>>> exported = exporter.export(model, inputs, config=DynamoConfig(dynamic=True))
>>> outputs = exported(**inputs)
>>> exported.save_pretrained("exported")  # `model.pt2`, its metadata and the model config

مُصدِّر يحوّل PreTrainedModel إلى رسم ONNX (نموذج onnx_ir.Model).

>>> from transformers.exporters.exporter_onnx import OnnxExporter, OnnxConfig

>>> exporter = OnnxExporter()
>>> exported = exporter.export(model, inputs, config=OnnxConfig(dynamic=True))
>>> outputs = exported(**inputs)  # on ONNX Runtime
>>> onnx_model = exported.program  # an `onnx_ir.Model`
>>> exported.save_pretrained("exported")  # `model.onnx`, its metadata and the model config

مُصدِّر يقوم بتحويل PreTrainedModel إلى ExecutorchProgramManager في ExecuTorch.

>>> from transformers.exporters.exporter_executorch import ExecutorchExporter, ExecutorchConfig

>>> exporter = ExecutorchExporter()
>>> exported = exporter.export(model, inputs, config=ExecutorchConfig(backend="xnnpack"))
>>> outputs = exported(**inputs)  # on the ExecuTorch runtime
>>> exported.save_pretrained("exported")  # `model.pte`, its metadata and the model config

فئة الإعدادات لتصدير النماذج عبر torch.export.

فئة التهيئة لتصدير النماذج إلى ONNX عبر torch.onnx.export.

يرث جميع الحقول من DynamoConfig (dynamic، strict، dynamic_shapes، prefer_deferred_runtime_asserts_over_guards).

فئة الإعدادات لتصدير النماذج إلى تنسيق ExecuTorch.

يرث جميع الحقول من DynamoConfig (dynamic، strict، dynamic_shapes، prefer_deferred_runtime_asserts_over_guards).

فئة الإعدادات لتصدير النماذج إلى OpenVINO IR عبر openvino.convert_model.

يرث جميع الحقول من [DynamoConfig] (dynamic، strict، dynamic_shapes، prefer_deferred_runtime_asserts_over_guards).

الفئة الأساسية لمكمّسات ما بعد التدريب المطبّقة أثناء التصدير.

يُعلن المُكمِّم عن صيغ التصدير التي يدعمها والحزم التي يحتاجها (مع الإصدارات التي تم اختبارها عليها، كما هو الحال مع مُصدِّرات التصدير)، وعن ما إذا كان يُكمِّم رسم torch.export الخاص بـ FX قبل أي تحويل (لذا يتلقى كل مُنفِّذ النتيجة)، أم يُكمِّم النموذج الذي يحوله مُنفِّذ ما (onnx_ir.Model، openvino.Model). يتحقق مُصدِّر التصدير من ذلك مقابل عملية التصدير مسبقاً، ثم يستدعي ~ExportQuantizer.quantize مع ذلك النموذج ومدخلات العينة الخاصة بالتصدير. قم بإنشاء فئة فرعية منه ونفّذ quantize لإضافة طريقة تكميم جديدة؛ حيث تُطبِّق CalibrationSet عينات المعايرة على مدخلات النموذج الخاصة به.

عرض قابل لإعادة التكرار لعينات المعايرة كمدخلات للنموذج.

تكون العينات هي calibration_dataset الخاص بمُكمِّم الأرقام، أو sample_inputs الخاصة بالتصدير نفسه (مع تحذير، مرة واحدة عند قراءتها) إذا لم يتوفر أي منها. يمكن أن تكون هذه العينات أي خرائط، مثل BatchEncoding الخاص بمُرمِّز. يحوّل transform كل عينة من معاملات الأمامية إلى ما يقبله النموذج المُكمَّم (معاملات مُتبعة، مدخلات ONNX، مدخلات منافذ OpenVINO)، بشكل كسول، عينة واحدة في كل مرة، في كل مسار.

قم بتكميم رسم FX باستخدام تكميم PyTorch 2 Export (PT2E): يقوم prepare_pt2e بإدراج المراقبين، وتقوم مجموعة المعايرة بتشغيلهم، بينما يستبدل convert_pt2e هذه المراقبين بعمليات التكميم/إلغاء التكميم. يعمل مع جميع واجهات التصدير.

>>> from torchao.quantization.pt2e.quantizer.x86_inductor_quantizer import (
...     X86InductorQuantizer,
...     get_default_x86_inductor_quantization_config,
... )
>>> from transformers.exporters import DynamoConfig, PT2EQuantizer

>>> x86 = X86InductorQuantizer().set_global(get_default_x86_inductor_quantization_config())
>>> DynamoConfig(quantizer=PT2EQuantizer(x86, calibration_dataset=samples))

قم بتكميم نموذج ONNX المُحوَّل باستخدام أدوات ONNX Runtime الخاصة (onnxruntime.quantization): إما quantize_static مع OnnxRuntimeStaticConfig (الافتراضي)، أو quantize_dynamic مع OnnxRuntimeDynamicConfig.

>>> from transformers.exporters import (
...     OnnxConfig,
...     OnnxRuntimeDynamicConfig,
...     OnnxRuntimeQuantizer,
...     OnnxRuntimeStaticConfig,
... )

>>> static = OnnxRuntimeStaticConfig(per_channel=True)
>>> OnnxConfig(quantizer=OnnxRuntimeQuantizer(static, calibration_dataset=samples))
>>> OnnxConfig(quantizer=OnnxRuntimeQuantizer(OnnxRuntimeDynamicConfig()))

حجج onnxruntime.quantization.quantize_static: تفعيلات وأوزان من نوع int8 (QDQ افتراضياً)، مُعايرة على calibration_dataset الخاص بالمعاير. يُبقي الحقل المُتروك على None على القيمة الافتراضية لـ ONNX Runtime. راجع quantize_static لكل منها.

حجج onnxruntime.quantization.quantize_dynamic: أوزان int8، وتفعيلات يتم كميها وقت التشغيل، دون معايرة. أي حقل يُترك على None يحافظ على القيمة الافتراضية لـ ONNX Runtime. راجع quantize_dynamic لكل منها.

قم بتكميم نموذج OpenVINO المحوّل باستخدام NNCF: إما nncf.quantize مع NNCFQuantizationConfig (الافتراضي)، أو nncf.compress_weights مع NNCFWeightCompressionConfig.

>>> import nncf
>>> from transformers.exporters import NNCFOpenVINOQuantizer, NNCFWeightCompressionConfig, OpenVINOConfig

>>> OpenVINOConfig(quantizer=NNCFOpenVINOQuantizer(calibration_dataset=samples))
>>> OpenVINOConfig(
...     quantizer=NNCFOpenVINOQuantizer(NNCFWeightCompressionConfig(mode=nncf.CompressWeightsMode.INT4_SYM))
... )

قم بتكميم نموذج ONNX المُحوَّل باستخدام NNCF عبر واجهته الخلفية الخاصة بـ ONNX: إما nncf.quantize مع NNCFQuantizationConfig (الافتراضي، int8 QDQ)، أو nncf.compress_weights مع NNCFWeightCompressionConfig (int4 على شكل MatMulNBits في ONNX Runtime).

>>> import nncf
>>> from transformers.exporters import NNCFOnnxQuantizer, NNCFWeightCompressionConfig, OnnxConfig

>>> OnnxConfig(quantizer=NNCFOnnxQuantizer(calibration_dataset=samples))
>>> OnnxConfig(quantizer=NNCFOnnxQuantizer(NNCFWeightCompressionConfig(mode=nncf.CompressWeightsMode.INT4_SYM)))

قم بتكميم مخطط torch.export الخاص بـ FX باستخدام NNCF عبر واجهة TorchFX الخاصة به: إما nncf.quantize مع NNCFQuantizationConfig (الافتراضي، عمليات quantize/dequantize)، أو nncf.compress_weights مع NNCFWeightCompressionConfig. على غرار PT2EQuantizer، يتم تشغيله قبل أي تحويل، لذا تستقبل جميع الواجهات الخلفية نتيجته. يقوم ExecuTorch بتحويل النتيجة التي تتضمن الأوزان فقط: فـ XNNPACK لا يفوّض عمليات quantize/dequantize، ولا يحتوي ExecuTorch على نوى (kernels) لهذه العمليات.

>>> from transformers.exporters import DynamoConfig, NNCFTorchFXQuantizer

>>> DynamoConfig(quantizer=NNCFTorchFXQuantizer(calibration_dataset=samples))

حجج nncf.quantize: تفعيلات وأوزان من نوع int8، مُعايرة على calibration_dataset الخاص بالمعاير. الحقل الذي يُترك على None يحافظ على القيمة الافتراضية لـ NNCF، باستثناء model_type الذي تكون قيمته الافتراضية nncf.ModelType.TRANSFORMER. راجع nncf.quantize لكل منها.

حجج nncf.compress_weights: int8 أو int4 للأوزان فقط، مع استخدام طرق واعية بالبيانات (AWQ، تقدير المقياس، GPTQ) في أوضاع int4. أوضاع int8 لا تتطلب بيانات؛ أما الأوضاع الأخرى فتُعاير على calibration_dataset الخاص بالمُكمِّم. gptq وlora_correction متاحة فقط في OpenVINO. أي حقل يُترك على None يحافظ على القيمة الافتراضية لـ NNCF. راجع nncf.compress_weights لكل حقل على حدة.

استرجاع جميع الموترات الورقية بشكل تكراري من بنية قد تكون متداخلة.

اضبط النموذج والمدخلات للتصدير. يعدّل كلًا من model وinputs في مكانهما، معيدًا (model, inputs, output_flags) حيث يحتوي output_flags على القيم المستخرجة من inputs الخاصة بـuse_cache وreturn_dict وما إلى ذلك (لتُطبَّق بشكل قابل للعكس على model.config بواسطة patch_model_config أثناء التتبع).

• يُزيل مدخلات التسميات (labels، future_values) — لا يُدعم حساب الخسارة.
• يستخرج أعلام المخرجات (use_cache، return_dict، …) من inputs حتى لا تظهر كحجج اختيارية مُتبعة؛ وتُعاد القيم إلى كتلة التتبع لتطبيقها على model.config.
• يحسب مسبقًا معاملات الرؤية/الصوت المعتمدة على البيانات والمسجلة عبر @register_export_input_preparer ويكتبها في inputs.
• يحوّل تينسورات الإدخال لتطابق dtype / device الخاص بالنموذج.

شغّل model.generate() وقُم بالتقاط مدخلات prefill و decode.

يعيد استخدام آلية التوليد الكاملة بحيث تحصل كل بنية (فكّ الترميز فقط، SSM، ترميز-فكّ ترميز، متعددة الوسائط، ...) على مدخلات صحيحة دون الحاجة إلى إعادة تنفيذ الحلقة.

يُمرَّر generation_config إلى generate() (وافتراضيًا يُستخدم الخاص بالنموذج نفسه)، لذا فإن المدخلات المُلتقطة تستخدم أي كاش يبنيه generate(). مرِّر كائنًا يحتوي على cache_implementation="static" وmax_cache_len=N لالتقاط كاش بحجم ثابت في مدخلات فك الترميز — وهو الأساس لتصدير كاش ثابت. يحدد max_cache_len حجم الكاش بشكل مستقل عن الالتقاط، لذا فإن فك الترميز المُصدَّر يتعامل مع كاش بحجم ثابت [..., N, ...] بدلاً من كاش متزايد.

عند تفعيل multi_token_decode، يُلتقط مكوّن decode كـ فك ترميز متعدد الرموز — وهو دمج لخطوتين متتاليتين من فك الترميز (انظر _merge_decode_calls) بحيث تبقى محور تسلسل الاستعلام فيه رمزيًا (فإن كان فك الترميز لرمز واحد فقط، فسيتم تخصيص ذلك المحور إلى القيمة 1). ثم يتعامل هذا المكوّن مع رمز واحد (فك الترميز العادي) ومع عدة رموز (استكمال من الماضي، أو تعبئة مسبقة عادية عندما تكون ذاكرة التخزين المؤقت فارغة). وإلا، يكون decode هو فك الترميز الكلاسيكي لرمز واحد.

التقاط المدخلات لكل وحدة فرعية متعددة الوسائط عبر تمريرة أمامية واحدة.

يكتشف جميع الوحدات الفرعية متعددة الوسائط المعروفة من خلال اسم الخاصية (برج الرؤية، المُشغِّل، نموذج اللغة، lm_head، ...) ويلتقط معاملات استدعاء الأمامي الخاصة بها أثناء استدعاء واحد لـmodel(**inputs).

يُعاد كل وحدة فرعية كعنصر مستقل بصيغة name: (module, inputs) من أجل التصدير المستقل. وقد تم استبعاد خطوة دمج الرموز (مثل masked_scatter في النماذج متعددة الوسائط) عمدًا من الرسوم البيانية المُصدَّرة — إذ تقع على عاتق المستدعي مسؤولية تجميع inputs_embeds من مخرجات المُشفِّر قبل تشغيل المُفكِّك.

فكّك نموذجًا توليديًا إلى أزواج (model, forward_inputs) قابلة للتصدير بشكل مستقل.

ينفّذ decompose_prefill_decode لالتقاط معاملات استدعاءات المرحلة الأمامية الخاصة بمرحلتَي prefill وdecode من استدعاء حقيقي لـmodel.generate(**inputs, max_new_tokens=2). إذا كانت مرحلة prefill متعددة الوسائط (وفقًا لـis_multimodal)، فإنها تقسمها إلى عنصر واحد لكل وحدة فرعية (مشفر الرؤية/الصوت، المُشغِّل، نموذج اللغة، lm_head) عبر decompose_multimodal.

يعيد True إذا كان النموذج متعدد الوسائط مع مشفّرات الوسائط ونموذج لغوي.

النموذج الذي ليس PreTrainedModel (مثل nn.Module عادي) لا يحتوي على مُوجِّهات get_encoder/get_decoder قياسية، وهو ليس متعدد الوسائط بوضوح، لذلك يُرجع False مباشرة.