# Praxis-1

`praxis` هو مُكيّف LeRobot لنموذج [Praxis-1](https://runway.com/news/praxis-1-is-now-available)، وهو نموذج أفعال عالمي مفتوح الأوزان من Runway مخصص للروبوتات. Praxis-1 هو نموذج فيديو-إجراء: فعمود فقري للانتشار العشوائي (Diffusion) للفيديو يعتمد على السببية على مستوى المقاطع (Chunk-causal) (وهو محوّل (Transformer) من نوع مزيج الخبراء (Mixture-of-Experts) بمعلمات 27 مليار، منها حوالي 3 مليارات نشطة لكل رمز) يقوم بإزالة الضوضاء عن الفيديو التالي لمدة 1.6 ثانية من كامرتي الهيكل، بينما يقوم خبير الإجراءات، الذي يقرأ الحالات المخفية للعمود الفقري، بإزالة الضوضاء عن الأوامر الديكارتية الـ 24 المقابلة عند تردد 15 هرتز. مُشفّر الفيديو التلقائي Wan2.2 ومُشفّر النص Qwen3.5-2B مجمّدة وتأتي من أوزانها العامة. نقطة الفحص (Checkpoint) المُصدَّرة، `praxis-1-droid`، تُشغّل هيكل DROID بذراع واحدة: ذراع Franka مزودة بكاميرا خارجية وكاميرا معصمية. نقطة فحص DROID سابقة وغير مُصدَّرة تمتلك نفس البنية مع أوزان مختلفة ولوحة كاميرات أخرى؛ يخبرك ملف `config.json` الخاص بنقطة الفحص بالفرق بينهما (انظر "نقاط الفحص"). `praxis-1-yam`، نقطة الفحص ثنائية الذراع لذراعين YAM، تأتي بنفس الترتيب (انظر "نقطة فحص YAM ثنائية الذراع"). `praxis-1-base`، وهو العمود الفقري للفيديو وجذع خبير الإجراءات دون رؤوس الهيكل، هو نقطة بداية الضبط الدقيق (Fine-tune) لهيكل جديد بذراع واحدة (انظر "اضبط نقطة فحص الأساس").

الموارد:

| الموارد     | رابط                                                                                           | يُستخدم ل                                                              |
| ------------ | ---------------------------------------------------------------------------------------------- | --------------------------------------------------------------------- |
| إعلان | [runway.com/news/praxis-1-is-now-available](https://runway.com/news/praxis-1-is-now-available) | نظرة عامة على الطريقة                                                       |
| الأوزان      | [مجموعة Praxis-1](https://huggingface.co/collections/runwayml/praxis-1)                    | `runwayml/praxis-1-droid-lerobot` والنقاط التفتيش المحوّلة الأخرى |
| Code         | [runwayml/praxis-1-oss](https://github.com/runwayml/praxis-1-oss)                              | الاستدلال الأصلي والمحاكاة والتدريب                                     |
| محاكي    | [praxis-sim على PyPI](https://pypi.org/project/praxis-sim/)                                     | هيكل MuJoCo وحزم التقييم الخاصة به                              |
| Wan2.2 VAE   | [Wan-AI/Wan2.2-TI2V-5B](https://huggingface.co/Wan-AI/Wan2.2-TI2V-5B)                          | `Wan2.2_VAE.pth` (مجمّد)                                             |
| مُشفِّر النص | [Qwen/Qwen3.5-2B](https://huggingface.co/Qwen/Qwen3.5-2B)                                      | مجمّد                                                                |

توجد أكواد النموذج داخل الشجرة تحت `lerobot/policies/praxis/praxis_core` (مستوردة من مستودع praxis عند الالتزام 8dad1a4 بالإضافة إلى قاعدة canvas الخاصة بـ `praxis-1-droid`، مع إعادة كتابة مسارات الاستيراد؛ تسمّي ترويسات الملفات الالتزامات الأصلية). محاكاة MuJoCo هي حزمة `praxis-sim` على PyPI (طُوّرت في `packages/praxis-sim` ضمن مستودع praxis، بدون torch)؛ ولا يحتوي LeRobot على بيئة لها.

## التثبيت

```bash
pip install -e ".[praxis,dataset]"   # the policy; `lerobot-eval` and `lerobot-train` also need `dataset`
```

النقاط المحفوظة المحوّلة متاحة على Hub: `--policy.path=runwayml/praxis-1-droid-lerobot` يحمّل النقطة المحفوظة ذات الذراع الواحدة المُطلَقة (54 غيغابايت، تُحمَّل مرة واحدة). `runwayml/praxis-1-yam-lerobot` هي النقطة المحفوظة ذات الذراعين. `runwayml/praxis-1-base-lerobot` هي الأساس، ويتطلب `init_heads.py` أولاً.

يعمل هذا الإجراء على الإصدارات التي يثبّتها LeRobot 0.7 (0.7.1 عند كتابة هذا النص: torch 2.15.0 مع CUDA 13.2، وtransformers 5.22.2، وtriton 3.9). قُيسَت النتائج أدناه على ذلك المكدس (مع transformers 5.22.1 و5.22.2، والتي تُنتج نفس الأوامر) وعلى مكدس LeRobot 0.6 (torch 2.11.0 مع CUDA 12.8، وtransformers 5.5.4)؛ والأوامر متطابقة بتًّا مع تلك الموجودة في مستودع praxis في كل حالة.

أنوية اختيارية ضمن إعداد التحقق من نقطة الحفظ. يمنح `flash-attn-4` واجهة الخلفية `flash` لانتباه نقطة الحفظ (انتباه مرن مع نواة FlashAttention-4 CuTe)؛ وبدونه يستخدم السياسة نواة Triton للانتباه المرن. أما `flash-linear-attention` و`causal-conv1d` فهي الأنوية السريعة لطبقات الانتباه الخطي في Qwen3.5؛ وبدونها يشغّل `transformers` تطبيقه الخاص بـ PyTorch. جميعها تغيّر البتات الأخيرة من المخرجات، وليس النموذج:

```bash
pip install "flash-attn-4[cu13]==4.0.0b36"        # the CUDA 13 build for torch 2.15; "flash-attn-4==4.0.0b36" on a CUDA 12 torch
pip install "flash-linear-attention==0.6.0"       # 0.5.0 does not run on triton 3.9
CAUSAL_CONV1D_FORCE_BUILD=TRUE MAX_JOBS=16 pip install --no-build-isolation "causal-conv1d==1.6.1"   # compiles against torch; the praxis repository's setup
```

يتطلب الاستدلال وحدة معالجة رسومية واحدة بسعة ذاكرة 80 جيجابايت (حيث تبلغ أوزان النموذج 54 جيجابايت في صيغة bfloat16).

على وحدات معالجة الرسوميات Blackwell في مراكز البيانات (B200 و GB200 هما SM100، و B300 و GB300 هما SM103؛ أما Jetson Thor، SM110، فيتمتع بنفس عملية FlashAttention-4 الأمامية):

- تتطلب B300 و GB300 بناءً لـ torch يدعم CUDA 12.9 أو أحدث، مثل torch 2.15.0+cu132 الذي تثبته LeRobot 0.7. تستدعي خبراء MoE الدالة `torch._grouped_mm`، ولا يحتوي بناء torch 2.11.0+cu128 (LeRobot 0.6) على نواة SM103 لها: يفشل أول استدعاء للسياسة مع `RuntimeError: cutlass cannot run, error 7`، كما هو الحال في خط أنابيب مستودع praxis. تعمل B200 على كلا المكدسين.
- يقبل FlashAttention-4 أقنعة متناثرة على مستوى الكتل فقط في كتل من 256 رمزًا هناك (حيث يثير `ValueError: Block sparse tensorsforward have block size 128, which must be a multiple of 256`). مع واجهة `flash`، يبني هذا الإجراء أقنعة الهيكل الأساسي في كتل من 256 رمزًا على هذه وحدات المعالجة الرسومية بدلاً من `backbone.attention.flex_block_size` البالغ 128 في نقطة الحفظ. حجم الكتلة يجمع أزواج الرموز فقط: لا يزال دالة القناع يقرر كل زوج. يشغّل مستودع praxis نفس الشيء مع `"flex_block_size": 256` في `config.json` الخاص بنقطة الحفظ. تحافظ واجهة `triton` على 128 الخاص بنقطة الحفظ.

على وحدات معالجة الرسوميات RTX Blackwell (قدرة الحوسبة 12.x؛ حيث أن RTX PRO 6000 Blackwell يوفر 96 جيجابايت من الذاكرة التي تتطلبها الأوزان)، لا يتوفر في FlashAttention-4 أي مسار أمامي متناثر الكتلة (block-sparse forward) بأي حجم كتلة (فعند استخدام كتلات 128 رمزًا من نقطة التفتيش، يثير `Block sparsity requires sparse_block_size[1]=128 to match tile_n=64`)، وبالتالي لا يمكن تشغيل الخلفية `flash` هناك. يختار `attention_backend="auto"` الخلفية `triton` على هذه الوحدات، حتى مع تثبيت `flash-attn-4`، بينما تثير الخلفية `"flash"` خطأ `ValueError` عند بناء السياسة. تفشل مستودعة praxis في أول استدعاء لها باستخدام `flash` من نقطة التفتيش، وتعمل بنفس الطريقة عند إضافة `"backend": "triton"` إلى ملف `config.json` الخاص بنقطة التفتيش. تختلف الخلفيتان في البتات الأخيرة، لذا قارن بين التشغيلات على هذه الوحدات والتشغيلات باستخدام `triton` على وحدات أخرى. لا يتغير شيء آخر على RTX PRO 6000: فبناءات torch لكلا المكدسين أدناه تتضمن نوى SM120 (بما في ذلك `torch._grouped_mm` الخاص بـ MoE)، ويبلغ ذروة الاستدلال بإعدادات `praxis-1-droid` حوالي 62 جيجابايت.

تتبع هذه القواعد فحوصات FlashAttention-4 الخاصة بها. وقد قُيسَت نتائج التكافؤ أدناه على GB300 وB200 وRTX PRO 6000 Blackwell.

> [!WARNING]
> `transformers` من الإصدار 5.4.0 إلى 5.5.4 (LeRobot 0.6؛ تم الإصلاح في 5.6.0، ويقفل LeRobot 0.7 على الإصدار 5.22) يحمّل نقطة التفتيش `Qwen/Qwen3.5-2B` من Hub مع الإبلاغ عن أن جميع توتورات نموذج اللغة الـ 320 مفقودة (حيث يعيد تسمية الأسماء المخزنة `model.language_model.*` قبل المطابقة) ثم يهيئها عشوائياً بصمت. يكتشف مشفّر النص الخاص بالسياسة هذا الأمر ويحمّل التوتورات تحت أسمائها المخزنة، مع إصدار تحذير في السجل. ترك مشفّر النص مهيأً عشوائياً ينتج سياسة لا تزال تتحرك لكنها نادراً ما تنجح (7 من 56 حلقة حراسة في أول تشغيل لنا).

## المدخلات والمخرجات

| ميزة                             | الشكل | المعنى                                                                                                                                                                                                                    |
| ----------------------------------- | ----- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| `observation.images.exterior`       | RGB   | الكاميرا الثابتة. أي حجم؛ حيث يقوم المعالج المسبق بإنشاء بلاطة نقطة الحفظ (224 x 416 مع قاعدة الملاءمة المضادة للتوهج لـ `praxis-1-droid`، و256 x 416 لنقطة حفظ DROID السابقة). يتم تحديد المفتاح بواسطة `exterior_image_key`. |
| `observation.images.wrist`          | RGB   | كاميرا المعصم. المفتاح الذي تم تعيينه بواسطة `wrist_image_key`.                                                                                                                                                                            |
| `observation.state`                 | (7,)  | `[x, y, z, roll, pitch, yaw, gripper]`: وضع طوق فرانكا في إطار قاعدة الروبوت (بالأمتار، زوايا أويلر خارجية x-y-z بالراديان، وفق اتفاقية DROID) والمقبض في [0, 1].                                  |
| `task`                              | str   | التعليمات، المُعطاة لمُشفِّر النص كما هي دون أي تعديل.                                                                                                                                                                       |
| `action`                            | (7,)  | نفس القيم السبع: الوضعية المطلقة والمقبض للنبضة التالية على تردد 15 هرتز.                                                                                                                                        |
| `observation.scene_seed` (اختياري) | (1,)  | بذرة المشهد للحلقة. بذرة العينة للجزء `k` هي `seed + seed_stride * scene_seed + k`.                                                                                                                     |

يحتفظ بسياسة خاصة بسجلها الخاص: مخزن حلقي (ring buffer) لأحدث 25 ملاحظة لكل بيئة في الدفعة (الجزء المنفَّذ بالإضافة إلى الإطار الحالي) يُغذّي الاستدعاء التالي كسياق، لذا يبقى `n_obs_steps` عند 1، ويجب استدعاء `select_action` في كل نبضة (tick) بمعدل 15 هرتز مع ملاحظة تلك النبضة. يعيد الاستدعاء الأول لنافذة السياق 21 أمرًا، ويعيد كل استدعاء لاحق 24 أمرًا. إذا كان `n_action_steps` أقل من 24، فإن كل استدعاء يكون بدءًا باردًا (cold start) بدون سياق، كما في praxis. يعيد `drop_queued_actions` (أمر جديد في منتصف التمرير، على سبيل المثال) أيضًا إعادة تشغيل السياق الزمني، لأن النموذج يشترط أن يكون الجزء السابق بأكمله قد نُفِّذ. المستدعي الذي ينفّذ أجزاء كاملة (`predict_action_chunk`) يسلم الإطارات المنفَّذة منذ استدعائه السابق ككومة (stack)، كاميرات `(B, T, 3, H, W)` مع حالات `(B, T, 7)`، الأقدم أولًا؛ ثم يكون الجزء التالي هو جزء تمرير استدعاء لكل نبضة. يحتوي الجزء الأول لنافذة السياق على 21 أمرًا حقيقيًا ويُملأ إلى 24 بالأمر الأخير؛ تُهمل الإطارات المرصودة أثناء صفوفه المملوءة، لذا يكون السياق هو سياق مستدعٍ نفّذ الأوامر الـ 21 الحقيقية. يبدأ استدعاء جزء بإطار واحد السياق من جديد.

### المعالجات

يُعدّ المُعالج المسبق المدخلات بالطريقة التي تفعل بها بيانات praxis وكود serve، كما هو محفوظ، كخطوات قابلة للتدقيق:

| الخطوة                           | هل                                                                                                                                                                                                                                                                                                                                                                                                                                                |
| ------------------------------ | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| `PraxisTileViewsProcessorStep` | تصبح كل زاوية كاميرا بلاطها الخاص على اللوحة وفق قاعدة نقطة التفتيش (`video.antialias`). `praxis-1-droid`: قص مركزي إلى نسبة الأبعاد الأصلية 720 × 1280، ثم إعادة تحجيم ثنائية الخطية مع معالجة الحواف إلى 234 × 416 (لا إعادة تحجيم للزاوية المُرسلة بهذا الحجم)، ثم قص مركزي إلى 224 × 416. نقطة تفتيش DROID السابقة: قص مركزي إلى نسبة أبعاد البلاط، ثم إعادة تحجيم ثنائية الخطية بسيطة إلى 256 × 416. مستويات uint8؛ الزاوية التي تكون بالفعل بحجم البلاط تمر دون تغيير. |
| `PraxisPoseProcessorStep`      | تتحول وضعية DROID `[x, y, z, roll, pitch, yaw, gripper]` إلى وضعية praxis8 `[x, y, z, qw, qx, qy, qz, gripper]` (الحالة، وأفعال دفعة التدريب).                                                                                                                                                                                                                                                                                   |
| `PraxisTokenizerProcessorStep` | تتحول التعليمات إلى معرفات الرموز وقناع الانتباه لمشفّر النص Qwen3.5-2B (`observation.language.tokens`، `.attention_mask`)، حيث يتم رمزتها بالطريقة التي يرمّز بها مشفّر نص praxis. يبقى المشفّر المجمّد ومخزنه المؤقت للتضمين ضمن السياسة.                                                                                                                                                                                          |
| `PraxisCommandProcessorStep`   | (postprocessor) أمر السياسة، وضعية سلك الممارسة `[x, y, z, rotation 3 x 3]` والمقبض، تتحول إلى قيم DROID السبع، على وحدة المعالجة المركزية.                                                                                                                                                                                                                                                                                                     |

بينهما، ترى السياسة البلاطات وصفوف pose8 وتُصدر أوضاع الأسلاك، وهو بالضبط ما تستهلكه وتنتجه جلسة `Session` في praxis. وتبقى تطبيع الإجراء q99، وتطبيع الحس الذاتي بالمتوسط/الانحراف المعياري، وفك ترميز الإجراء النسبي داخل الجلسة: فهي مرتبطة بوضع البداية لكل شريحة منفَّذة، وتتتبعها الجلسة عبر التمرير، وإحصاءاتها هي نقطة التفتيش (`PraxisConfig.model_config["normalization"]`)؛ وخطوات المُطبِّع القياسي هي هوية. كما تقبل السياسة وضع القيمة الخام السباعي، وإطارات الكاميرا الخام، ونص `task`، بحيث يمكن استدعاؤها دون خط الأنابيب: تُؤخذ الإطارات بحجم البلاطة كالبلاطات، وتُمرَّر الأحجام الأخرى عبر قاعدة اللوحة في نقطة التفتيش (قاعدة الملاءمة في `praxis-1-droid` ليست ذاتية التكرار، لذا لا تمرّ البلاطة بها مرتين)، ويُرمَّز النص المهامي الذي لا يحتوي على رموز بواسطة السياسة. وتبقى البلاطات على الجهاز الذي يضعها عليه خط الأنابيب حتى يقرأها المُشفِّر التلقائي، وتعود الأوامر على وحدة المعالجة المركزية: لا شيء يعبر حدّ الجهاز مرتين.

## نقاط التفتيش

| نقطة التفتيش                                | البلاطات                  | تغيير الحجم                                         | المُعيّن الموصى به (القيم الافتراضية لـ`PraxisConfig` لـ`praxis-1-droid`)                                                                         |
| ----------------------------------------- | ---------------------- | ---------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------ |
| `praxis-1-droid` (تم إصداره)               | 224 x 416              | قاعدة الملاءمة المضادة للتشويش (`video.antialias: true`) | خطوات أويلر 2، إزاحة التدفق 12.5، إرشاد النص 4.0 على الفيديو ولا شيء على الإجراءات (1.0)، 1 كتلة سياق                              |
| YAM، `praxis-1-yam` (باستخدام اليدين، تم إصداره)  | 256 x 416، ثلاث بلاطات | قاعدة ملاءمة YAM (`video.antialias: true`)         | خطوتان، إزاحة تدفق 1.0، بدون توجيه نصي، 1 مقطع سياق (تكتبها أداة التحويل)                                                     |
| الأساسية، `praxis-1-base` (بدون رؤوس)          | يُعيَّن بواسطة `init_heads.py` | يُعيَّن بواسطة `init_heads.py`                         | اختيار الضبط الدقيق؛ حيث يعتمد جهاز DROID على `praxis-1-droid`'s                                                                             |
| نقطة التفتيش السابقة لـ DROID (غير منشورة) | 256 x 416              | تحجيم ثنائي الخطية العادي                          | خطوان، إزاحة 8.0، بدون توجيه نصي، 3 مقاطع سياق (praxis)؛ النتائج أدناه استخدمت إزاحة 1.0 وتوجيه إجراء 3.0 ومقطع سياق واحد |

تأتي لوحة الرسم من ملف `config.json` الخاص بالنقطة المحفوظة (`video.tile_height`، `video.antialias`) عبر المحوّل؛ أما إعدادات العينة فهي حقول في `PraxisConfig`، لذا فإن تشغيل نقطة DROID المحفوظة السابقة يمرر إعداداته الخاصة (`--policy.t_shift=8.0 --policy.cfg_video_scale=1.0 --policy.max_context_chunks=3`).

## تحويل نقطة التفتيش

نقطة تفتيش praxis هي مجلد يحتوي على `config.json`، و17 شريحة safetensors، و`model.safetensors.index.json` و`SHA256SUMS`. قم بتحويله إلى مجلد سياسة LeRobot:

```bash
python examples/praxis/convert_checkpoint.py \
    --checkpoint /path/to/praxis-1-droid --out outputs/praxis-1-droid --link
```

تأتي المنصة من خاصية `embodiment` في نقطة الفحص: تحصل نقطة الفحص ذات اليدَين على مفاتيح الكاميرات الثلاث الخاصة بها (باستخدام `--camera-keys` لإعادة تسميتها) وإعدادات التشغيل من نقطة فحصها. أما نقطة الفحص الأساسية فتحصل على مجلد بدون معالجات يكمله `init_heads.py`. `runwayml/praxis-1-droid-lerobot` ونقاط الفحص المحوّلة الأخرى هي مخرجات هذا السكربت.

`--link` ينشئ روابط رمزية للتشظيات بدلاً من نسخ 54 جيجابايت. يحتوي المجلد على `config.json` الخاص بـ LeRobot، والتشظيات، والفهرس، وملف `SHA256SUMS` الخاص به (يمر `sha256sum -c` فيه بنجاح) (تقرأ سياسات LeRobot وتكتب ملفات safetensors المتشظية بتنسيق transformers؛ تكتب `PraxisPolicy.save_pretrained` تشظيات بحجم 5 جيجابايت)، وملفَي المعالج. تحدد `--vae-id` و`--text-encoder-id` مصدر الأجزاء المجمّدة (معرفات Hub افتراضياً).

## النتائج

تأتي الأرقام المغلقة الحلقة أدناه من إطار MuJoCo الخاص بمستودع praxis (حزمة `praxis-sim`: Franka + Robotiq 2F-85، كاميرات بدقة 512 x 288، 15 هرتز) ومن مجموعات التقييم الثابتة الخاصة به؛ وبذرة LeRobot لحلقة (episode) هي بذرة المشهد الخاص بها. البيئة التي تشغّل المجموعات عبر `lerobot-eval` ليست جزءًا من LeRobot.

أثناء أخذ العينات، تُثبّت السياسة الإعدادات العددية التي تعمل بها praxis (بدون وضع cuDNN benchmark، وعمليات ضرب المصفوفات float32 لموجّه MoE، والسماح بـ TF32 في cuDNN) ثم تُعيد إعدادات المضيف إلى حالتها الأصلية بعد ذلك، بحيث لا تُغيّر `--tf32` أو `torch.backends.cudnn.benchmark` أو حجم الدفعة مخرجاتها.

حزمة `droid_guard` (7 مهام DROID × 8 مشاهد، 56 حلقة، بذرة المُعيّن 0) مع نقطة الفحص DROID السابقة غير المُصدَّرة (بلاطات 256 × 416) بإعدادات المُعيّن المستودع praxis في ذلك الوقت (خطوات Euler 2، إزاحة التدفق 1.0، توجيه الإجراء 3.0، بدون توجيه فيديو، كتلة سياق واحدة) وخلفية انتباه `flash` الخاصة به، على بطاقة H100 واحدة بسعة 80 جيجابايت (حوالي 10 دقائق). تم تشغيل الحلقات نفسها بخمس طرق: مُشغّل مستودع praxis الخاص به في بيئته الخاصة (torch 2.13، transformers 5.2.0، causal-conv1d)، والمُشغّل نفسه و`lerobot-eval` على مكدس LeRobot 0.6 (torch 2.11، transformers 5.5.4)، وكلاهما مرة أخرى على المكدس الذي يثبته LeRobot 0.7 (torch 2.15 مع CUDA 13.2، triton 3.9، flash-linear-attention 0.6.0؛ transformers 5.16.1 في ذلك الوقت). تكرار عمليات تشغيل torch 2.15 مع transformers 5.22.1 يعطي أوامر مطابقة بتاتياً ونتائج حلقات 46/56 متطابقة لكل من مُشغّل praxis و`lerobot-eval`، ويعطي 5.22.2 (الإصدار الذي يثبته LeRobot 0.7.1) الأوامر نفسها لـ`praxis-1-droid` ونقطة الفحص YAM: إصدار transformers لا يدخل في الأرقام.

| المهمة              | praxis runner, praxis env | praxis runner، torch 2.11 | `lerobot-eval`، torch 2.11 | praxis runner، torch 2.15 | `lerobot-eval`، torch 2.15 |
| ----------------- | ------------------------: | ------------------------: | -------------------------: | ------------------------: | -------------------------: |
| lift_cube         |                       7/8 |                       7/8 |                        6/8 |                       7/8 |                        8/8 |
| cube_on_plate     |                       8/8 |                       8/8 |                        8/8 |                       8/8 |                        8/8 |
| block_in_bowl     |                       8/8 |                       8/8 |                        8/8 |                       8/8 |                        8/8 |
| block_out_of_bowl |                       7/8 |                       6/8 |                        7/8 |                       7/8 |                        6/8 |
| move_block        |                       7/8 |                       7/8 |                        6/8 |                       7/8 |                        7/8 |
| stack_block       |                       7/8 |                       8/8 |                        7/8 |                       8/8 |                        6/8 |
| press_button      |                       1/8 |                       0/8 |                        3/8 |                       1/8 |                        3/8 |
| **الإجمالي**         |            **45/56** 80 % |            **44/56** 79 % |             **45/56** 80 % |            **46/56** 82 % |             **46/56** 82 % |

عبر الحلقات الخمسين وستة (`praxis_sim.compare`)، `lerobot-eval` ناقص المرجع:

| مقارنة                                              | الفرق | فاصل الثقة 95 % | فاز / خسر | p ماكنمار |
| ------------------------------------------------------- | ---------: | ----------------------- | ---------- | --------: |
| torch 2.11: `lerobot-eval` مقابل praxis runner، praxis env |     +0.0 % | [-10.7 %, +10.7 %]      | 5 / 5      |      1.00 |
| torch 2.11: `lerobot-eval` مقابل praxis runner، نفس المكدس |     +1.8 % | [-8.9 %, +12.5 %]       | 6 / 5      |      1.00 |
| torch 2.15: `lerobot-eval` مقابل praxis runner، praxis env |     +1.8 % | [-10.7 %, +14.3 %]      | 6 / 5      |      1.00 |
| torch 2.15: `lerobot-eval` مقابل praxis runner، نفس المكدس |     +0.0 % | [-10.7 %, +10.7 %]      | 4 / 4      |      1.00 |

تحتوي كل فترة على الصفر: فسياسة LeRobot والبيئة تعيدان إنتاج نتائج مستودع praxis، ولا يغيّر مكدس البرمجيات (النوى، إصدار transformers) ولا إطار الاختبار هذه النتائج بما يتجاوز الضوضاء بين الحلقات. كما أن مشغّل praxis نفسه يتحرك بنفس المقدار بين المكدسات (من 44 إلى 46 من أصل 56). يُعدّ `press_button` صعبًا لهذا نقطة الفحص في كل إعداد.

عند استخدام مدخلات متطابقة، تكون السياسة متطابقة على مستوى البتات مع خط أنابيب praxis على كلا المكدسين (انظر أدناه)؛ أما بين المكدسين، فتتفاوت أوامر المدخلات المتطابقة بفارق يصل إلى 0.04 (flash) و0.02 (triton)، وهو ما يؤدي إلى تغيير الحلقات الفردية.

### `praxis-1-droid`، نقطة التفتيش المُصدَّرة

نفس الحلقات الخمس والستين باستخدام `praxis-1-droid` (بلاطات 224 x 416 مع معالجة الحواف) بإعداداته الموصى بها (خطوات Euler عددها 2، إزاحة التدفق 12.5، إرشاد الفيديو 4.0، بدون إرشاد للإجراء، كتلة سياق واحدة) مع واجهة `flash` الخلفية، على بطاقة H100 واحدة بسعة 80 جيجابايت: مُشغّل مستودع praxis (دالة `main` الخاصة به مع المُعيّن الحالي، في بيئة praxis: torch 2.13، transformers 5.2.0)، و`lerobot-eval` على حزمة LeRobot 0.6 (torch 2.11، transformers 5.5.4)، وكلا من المُشغّل و`lerobot-eval` على الحزمة التي تُثبّتها LeRobot 0.7 (torch 2.15 مع CUDA 13.2، transformers 5.22.1).

| المهمة              | praxis runner, praxis env | `lerobot-eval`، torch 2.11 | praxis runner، torch 2.15 | `lerobot-eval`، torch 2.15 |
| ----------------- | ------------------------: | -------------------------: | ------------------------: | -------------------------: |
| lift_cube         |                       7/8 |                        8/8 |                       8/8 |                        8/8 |
| cube_on_plate     |                       8/8 |                        7/8 |                       8/8 |                        8/8 |
| block_in_bowl     |                       8/8 |                        8/8 |                       8/8 |                        8/8 |
| block_out_of_bowl |                       8/8 |                        8/8 |                       7/8 |                        8/8 |
| move_block        |                       7/8 |                        8/8 |                       8/8 |                        8/8 |
| stack_block       |                       8/8 |                        7/8 |                       8/8 |                        6/8 |
| press_button      |                       8/8 |                        8/8 |                       7/8 |                        8/8 |
| **الإجمالي**         |            **54/56** 96 % |             **54/56** 96 % |            **54/56** 96 % |             **54/56** 96 % |

عبر 56 حلقة مقابلة، فإن `lerobot-eval` ناقص مُشغّل praxis يساوي +0.0 نقطة على كلا المكدسين (فاصل الثقة bootstrap بنسبة 95 % هو [-7.1 %، +7.1 %]، فاز في 2 / خسر في 2، قيمة p لاختبار McNemar هي 1.00 لكل منهما). الحلقات التي تتغير نتائجها ليست هي نفسها على المكدسين: فأنوية torch 2.15 تُحرّك الأوامر بمقدار يصل إلى 0.02، وتُتبعها بعض الحلقات الحدّية. يحلّ `praxis-1-droid` بإعداداته مهمة `press_button`، بينما فشل معظم نقاط التفتيش السابقة لـ DROID بإعداداتها في حلّها.

## التوافق مع مستودع praxis

- عند ملاحظات متطابقة في عملية واحدة، تعطي سياسة LeRobot وجلسة `Session` الخاصة بـ praxis تضمينات نصية متطابقة على مستوى البتات، ومتغيرات VAE الكامنة، والإحساس الذاتي، والإجراءات والأوامر المُسحوبة (نفس الأوزان المحمّلة). يكرر `tests/policies/praxis/test_praxis.py` هذا الفحص على نموذج عشوائي صغير على وحدة المعالجة المركزية.
- عبر العمليات، تُصدر خط أنابيب praxis المنفَّذ عبر الحزمة الأصلية `praxis` وسياسة LeRobot أوامر متطابقة بتدقيق البت على نقطة التفتيش الفعلية، على كلا الخلفيتين `flash` و`triton` (تختلف الخلفيتان عن بعضهما البعض في الأوامر بمقدار يصل إلى 0.055)، على مجموعة LeRobot 0.6 (torch 2.11.0+cu128، transformers 5.5.4، flash-attn-4 4.0.0b36) وعلى المجموعة التي تثبّتها LeRobot 0.7 (torch 2.15.0+cu132، transformers 5.22.1 و5.22.2، triton 3.9، flash-attn-4 4.0.0b36). المرجع نفسه يتحرك بين المجموعتين (بمقدار يصل إلى 0.019 على `flash`، و0.015 على `triton`)؛ وتُطابق السياسة ذلك بتدقيق البت على كل منهما.
- `praxis-1-droid`: الفحص عبر العمليات مقابل خط أنابيب praxis في فرع `main` من مستودع praxis (مع مُعيّن العينات الحالي) متطابق بتًّا على كلا الخلفيتين وكلا المكدسين في ثمانية طرق لاستدعاء السياسة: عبر خطوط أنابيب المعالج المحفوظة (كما يفعل `lerobot-eval`)، وعلى الإطارات الخام ووضع الجسم المكوّن من 7 قيم دون خطوط الأنابيب، مع بيئتين في دفعة واحدة (بتعليمات وبذور مشهد مختلفة)، عبر `predict_action_chunk` (بدء بارد، والقطعة التالية معطاة الإطارات المنفذة كمكدس)، مع `n_action_steps=12` (قطعة كل 12 أمرًا، مشروطة بالإطارات المنفذة)، مع توجيه الإجراء مفعّلًا (`cfg_scale=3`)، وعلى مدى 70 أمرًا مع ثلاث قطع سياق (عمق من 0 إلى 3). يبقى الفحص ساريًا تحت أعلام TF32 وcuDNN benchmark الافتراضية لـ`lerobot-eval`: حيث تثبّت السياسة قيم praxis العددية أثناء أخذ العينات ثم تعيد أعلامها إلى المضيف. تحسب خطوة البلاطة اللوحة على وحدة المعالجة المركزية بغضّ النظر عن جهاز الإطارات: إذ يُقرّب تكبير CUDA المضاد للتشويش بمستوى واحد بشكل مختلف على نحو ثلث البكسلات تقريبًا، مما أحرّك الأوامر بمقدار يصل إلى 0.02 قبل أن تفعل الخطوة ذلك.
- التدريب: على الأوزان المُطلَقة، تعطي `PraxisPolicy.forward` و`praxis.train.objective` من مستودع praxis نفس الخسارة (وحدود الفيديو والإجراء) بتطابق تام على مستوى البتات لنفس النافذة وسحوبات العشوائية، ونفس التدرجات على جميع تدرجات خبير الإجراءات الـ 200. يتفاوت مقياس توازن MoE المُبلَّغ عنه بمقدار واحد أو اثنين من وحدات ulp من نوع float32 بين التشغيلات على أيٍّ من الجانبين (اختزال غير حتمي في إحصائية التوازن؛ تدخل في الخسارة بوزن 1e-4).
- GB300 (SM103، مضيف aarch64): على المكدّس، تُثبّت LeRobot 0.7 (torch 2.15.0+cu132، cuDNN 9.26، transformers 5.22.1، triton 3.9، flash-attn-4 4.0.0b36، flash-linear-attention 0.6.0)، والتحقق عبر العمليات مقابل فرع `main` في مستودع praxis متطابق بتًّا لبتٍّ على كلا الخلفيتين (`flash` مع كتل أقنعة بطول 256 رمزًا على كلا الجانبين): بالنسبة إلى `praxis-1-droid` عبر سبع طرق لاستدعاء السياسة (خطوط الأنابيب المحفوظة تحت أعلام `lerobot-eval`، إطارات خامّة بدقة 720 x 1280، بيئتان في دفعة واحدة، `predict_action_chunk` مع مكدّسات إطارات، `n_action_steps=12`، `cfg_scale=3`، و94 أمرًا مع ثلاث كتل سياق)، ولـ`praxis-1-yam` عبر خطوط الأنابيب، على إطارات خامّة ومع بيئتين، ولهيكل DROID المُعاد بناؤه من `praxis-1-base`. يعطي `forward` خسارة هدف praxis وتدرّجات جميع تensors الخبراء الـ200 للإجراءات بتًّا لبتٍّ على الأوزان المُصدَّرة.
- RTX PRO 6000 Blackwell (SM120، 96 GB، مضيف x86_64)، `triton` على كلا الجانبين: على مجموعة LeRobot 0.6 (torch 2.11.0+cu128، cuDNN 9.19، transformers 5.5.4، triton 3.6، flash-linear-attention 0.5.0) وعلى المجموعة التي يثبّتها LeRobot 0.7 (torch 2.15.0+cu132، cuDNN 9.26، transformers 5.22.1، triton 3.9، flash-linear-attention 0.6.0 وcausal-conv1d 1.6.1، بحيث تعمل Qwen3.5 بنواتها)، مع تثبيت `flash-attn-4` 4.0.0b36 في الحالتين، يكون الفحص عبر العمليات مقابل `main` في مستودع praxis متطابقاً بتاً بتاً بطرق GB300: `praxis-1-droid` في السبعة (463 أمراً، أعماق سياق من 0 إلى 3)، و`praxis-1-yam` في الثلاثة، ومنصة DROID المعاد بناؤها من `praxis-1-base` (تطابق تينسورات رؤوسها الستة وإعداداتها مع `init_heads` في مستودع praxis). يعطي `forward` خسارة هدف praxis وتدرجات جميع تينسورات خبراء الإجراء الـ200 بتاً بتاً على المجموعتين، مع تجميد العمود الفقري على كلا الجانبين (تدرجاته البالغة 54 GB لا تتسع بجانب الأوزان). على مجموعة LeRobot 0.6، يحتاج جانب praxis أيضاً إلى إصلاح Qwen3.5 الخاص بالتحذير أعلاه: praxis-1 يثبّت transformers 5.2.0، وتحت 5.5.4 يبقى مشفر النص عشوائياً. حلقة مغلقة على `droid_guard` باستخدام `praxis-1-droid` على مجموعة LeRobot 0.6: `lerobot-eval` 53/56 (94.6 %)، ومشغّل praxis 54/56 (96.4 %، كما على H100 وGB300)؛ عند المقارنة المزدوجة، -1.8 نقطة، فترة ثقة 95 % [-8.9، +5.4]، فوز 2 / خسارة 3، p لاختبار McNemar 1.00. ضبط دقيق باستخدام LoRA عبر `lerobot-train` (r 16، alpha 32، الأهداف الافتراضية، نافذة واحدة لكل خطوة) يعمل على وحدة معالجة رسومات واحدة: 5.5 مليون معلمة قابلة للتدريب، 1.1 ثانية لكل خطوة، 62 GB.
- B200 (SM100، مضيف x86_64): على مجموعة أدوات LeRobot 0.6 (torch 2.11.0+cu128، cuDNN 9.19، transformers 5.5.4، triton 3.6) وعلى المجموعة التي يثبّتها LeRobot 0.7 (torch 2.15.0+cu132، cuDNN 9.26، transformers 5.22.1، triton 3.9، flash-linear-attention 0.6.0)، وكلاهما مع `flash-attn-4` 4.0.0b36، يكون الفحص عبر العمليات مقابل فرع `main` في مستودع praxis متطابقاً على مستوى البت في كلا الخلفيتين (`flash` مع كتل أقنعة بطول 256 رمزاً على كلا الجانبين) بطرق GB300: `praxis-1-droid` في السبعة (463 أمراً لكل خلفية ومجموعة أدوات، أعماق سياق من 0 إلى 3)، و`praxis-1-yam` في الثلاثة، ومنصة DROID المعاد بناؤها من `praxis-1-base` (تساوي تينسورات رؤوسها الستة وإعداداتها مع تلك الخاصة بـ`init_heads` في مستودع praxis). تختلف الخلفيتان عن بعضهما البعض بفارق يصل إلى 0.19 في الأوامر. يعطي `forward` خسارة هدف praxis، وحديديه المرئية والإجراءية، وتدرجات جميع تينسورات خبراء الإجراء الـ200 بتاً لبت على كلا الخلفيتين وكلا المجموعتين، مع العمود الفقري المدرَّب. يعمل ضبط دقيق عبر LoRA باستخدام `lerobot-train` على وحدة معالجة الرسوميات الواحدة (1.2 ثانية لكل خطوة، 62 غيغابايت)، ويُحمَّل المُكيّف ونقطة الفحص المدمجة الخاصة به في `lerobot-eval`.
- حلقة مغلقة على B200 (`droid_guard`، `praxis-1-droid`، `flash`): يحصل مشغّل praxis على 54/56 على مجموعة torch 2.15 وعلى 55/56 على torch 2.11، بينما يحصل `lerobot-eval` على 53/56 و51/56 (مقارنة متزاوجة: -1.8 نقطة، فترة الثقة 95 % هي [-8.9، +5.4]؛ و-7.1 نقطة، [-14.3، -1.8]، فاز 0 / خسر 4، قيمة p لاختبار McNemar هي 0.125). كل إطار عمل يكرر نفسه حلقةً تلو الأخرى، لذا فإن الفارق ليس ضجيجًا بين التشغيلات، وليس السياسة أيضًا: `lerobot-eval` يحمل الحالة والأوامر كقيم DROID السبع بصيغة float32 (`PraxisSimGymEnv`، خطوات معالج الوضعية والأوامر)، بينما يمرر مشغّل praxis وضعية الجلسة وأوامرها كما هي. الرحلة الدائرية تحرك الوضعية بمقدار يقارب 1e-7، وعلى مدى حلقة كاملة ينمو الفارق ليصبح مسارًا مختلفًا. مشغّل praxis، عند إرسال حالته وأوامره عبر نفس التحويل إلى float32، يعطي نتيجة `lerobot-eval` في جميع حلقات الـ 56، على كلا المجموعتين.
- عند المقارنة مع بيئة مستودع praxis نفسه (torch 2.13.0+cu130, transformers 5.2.0, causal-conv1d) لا تكون المخرجات متطابقة على مستوى البتات: فالكُرنلات تختلف، وتختلف تضمينات Qwen3.5 بفارق يصل إلى 0.125 في bfloat16، وتتبّع البتات الأخيرة للأفعال ذلك. لذا فإن الفحص بين المستودعين هو التقييم المغلق الحلقة المزدوج المذكور أعلاه.
- تُعرض المحاكاة بتعدد العينات رباعي (4x)، وتختلف بضع بكسلات في كل إطار بين عمليات العرض لنفس المشهد، لذا فإن حلقتين مغلقتين لنفس السياسة تتباعدان بعد الجزء الأول حتى مع استخدام أوزان متطابقة. تُقارَن الحلقات المزدوجة إحصائيًا، وليس إطارًا بإطار.

## نقطة التفتيش YAM ثنائية اليد

`praxis-1-yam` (`"embodiment": "bimanual"`، `runwayml/praxis-1-yam-lerobot`) يتحكم في ذراعي YAM بواسطة كاميرا علوية وكاميرتي معصمين (إطلالات ZED بنسبة 16:10، بدقة 1920 x 1200). يعمل النموذج نفسه على ذلك؛ حيث يختلف نقطة التفتيش في عرض رؤوس الخبير (20 قيمة إجراء: `[xyz, rot6d, gripper]` لكل ذراع)، ولوحة الرسم المكونة من ثلاث قطع، وطريقة التطبيع. يتبع مُكيّف LeRobot ملف `praxis/bimanual.py` في مستودع praxis (المُضمّن كـ `praxis_core/bimanual.py`):

| المفتاح                                                                                              | الشكل | المعنى                                                                                                                                                                                                                                      |
| ------------------------------------------------------------------------------------------------ | ----- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| `observation.images.top_left`, `observation.images.wrist_left`, `observation.images.wrist_right` | RGB   | المناظر الثلاثة بترتيب لوحة الرسم (`camera_keys`). أي حجم بنسبة 16:10؛ يقوم المعالج بإنشاء البلاطات ذات الأبعاد 256 x 416 وفق قاعدة ملاءمة YAM (تتسع المناظر معًا داخل صندوق بمقاس 416 بكسل، ثم يُجرى اقتطاع بمقدار 32 بكسل).                                                     |
| `observation.state`                                                                              | (14,) | `[x, y, z, roll, pitch, yaw, gripper]` للذراع اليسرى، ثم للذراع اليمنى، في إطار العالم الخاص بالهيكل (`pose_frame: rig`، دون دوران للفلانج)؛ كما تُبلَّغ الممسكات كما يبلغها الهيكل (دون قص). تمرّ أيضًا 16 قيمة (pose8 لكل ذراع). |
| `action`                                                                                         | (14,) | نفس القيم الـ 14: الهدف المطلق لكل ذراع في نبضة 15 هرتز التالية. يُصدر `select_action` 26 قيمة (وضعية الكابل والمقبض لكل ذراع)؛ وتقوم خطوة الأمر بتحويلها.                                                        |

The checkpoint's serve settings (the praxis repository's `configs/serve_yam.yaml`: 2 Euler steps, flow shift 1.0, no text guidance, 1 context chunk, the bimanual rig has no control mode) are what the converter writes into the config, so `--policy.path=runwayml/praxis-1-yam-lerobot` runs them. Prompts go to the text encoder verbatim; the checkpoint was trained on captions such as "Pick up the pen from the center of the table, then place the pen in the bag", without a closing period.

التطابق: على نقطة الفحص الفعلية، تعطي سياسة LeRobot وجلسة `BimanualServeSession` في خط أنابيب praxis أوامر متطابقة بتقارب البتات تمامًا لنفس المشاهد الثلاثة والوضعية والتعليم (22 نبضة: كتلة بدء التشغيل البارد والأمر الأول من كتلة العمق 1) عبر خطوط الأنابيب المحفوظة، وعلى الإطارات الخام دونها، ومع بيئتين بتعليمات مختلفة في دفعة واحدة. يعيد اختبار النموذج الصغير هذا الفحص على وحدة المعالجة المركزية مقابل جلسة praxis `Session`.

القيود: لا يوجد محاكاة لهيكل YAM، وبالتالي لا توجد مجموعة اختبارات مغلقة الحلقة؛ `forward` (الضبط الدقيق) يعمل على ذراع واحدة فقط، لأن مستودع praxis لا يحتوي بعد على وصفة تدريب ثنائية الذراع.

## التدريب

يُعدّل `lerobot-train` السياسة (policy) باستخدام هدف مستودع praxis (`praxis/train`): وهو خسارة مطابقة التدفق المشتركة (joint flow-matching loss) للفيديو والإجراءات، مع إسقاط (dropout) النص والإحساس الذاتي (proprio)، وحَدّ موازنة التسلسل الخاص بـ MoE، وتحديث انحياز التوجيه (routing-bias) بعد كل خطوة من خطوات المُحسِّن (optimizer). عند استخدام نفس النافذة (window) وسحوبات عشوائية متطابقة، يكون `PraxisPolicy.forward` مطابقًا بتطابق البتات (bitwise equal) لهدف مُدرِّب praxis على نقطة الفحص (checkpoint) المُصدَّرة. النافذة هي 93 إطارًا متتاليًا (مجموعات من 21، 24، 24، 24) من كلا الكاميرتين، مع وضعية الحافة (flange pose) المُلاحظة والمُؤمَرة لكل إطار، والتعليم (instruction)؛ وتُعلن السياسة عن ذلك عبر `observation_delta_indices` / `action_delta_indices` (93 إطارًا)، وتُبقي النوافذ داخل الحلقات (episodes) باستخدام `drop_n_last_frames` (93، بحيث يسحب المُعيِّن (sampler) بدايات نوافذ الوصفة). تتبع بلاطات الكاميرا (camera tiles) قاعدة اللوحة (canvas rule) الخاصة بنقطة الفحص (`video.antialias`)، كما في وحدة بيانات praxis. يعمل `forward` وعكس خسارته (بما في ذلك إعادة الحساب الخاصة بنقطة فحص التفعيل (activation-checkpoint)) وفق الحسابات العددية (numerics) الخاصة بـ praxis بغض النظر عما يحدده المُشغِّل (launcher)، حتى مع `lerobot-train --tf32`: لا يوجد تحويل تلقائي (autocast) (تبقى درجات مُوجِّه MoE من نوع float32)، ولا يوجد TF32 في عمليات الضرب المصفوفي (matmuls) من نوع float32. عدد نوافذ التدريب التي شوهدت هو مخزن مؤقت (buffer) لدى السياسة (`train_counter`): فهو يُهيّئ السحوبات، ويسافر مع نقطة الفحص والمُكيِّف (adapter)، وتستأنف جلسة التدريب المُستأنَفة التسلسل؛ ولا تُقدِّمه التقييم على بيانات محجوزة (held-out evaluation).

### البيانات

تتدرّب الوصفة على DROID. يحتوي `lerobot/droid_1.0.1` على الوضعية الديكارتية كست أعمدة بالإضافة إلى عمود واحد؛ وتقوم أعمدة `observation.state.cartesian` و`action.cartesian` ذات البُعد 7 في [PR #11](https://huggingface.co/datasets/lerobot/droid_1.0.1/discussions/11) بتركيبها مسبقا (استخدم `--dataset.revision=refs/pr/11` حتى يتم دمجها). أما `observation.state` و`action` الخاصة بالبيانات نفسها فهي في فضاء المفاصل؛ ويضع خريطة إعادة التسمية أعمدة الديكارتية في مكانها (فالمفتاح المُعاد تسميته يستبدل واحداً موجودا مسبقا) والكاميرتين تحت المفاتيح التي يقرأها السياسة:

```bash
RENAME='{"observation.state.cartesian":"observation.state","action.cartesian":"action",
"observation.images.exterior_1_left":"observation.images.exterior","observation.images.wrist_left":"observation.images.wrist"}'
```

يطبّق `lerobot-train` الخريطة على الدفعة الخام مرة أخرى داخل خط معالجة المعالج، لذا يجب ألا يبدّل المفاتيح (فإن تعيين `observation.state` إلى اسم آخر سيُلغى).

نحو نصف حلقات DROID لا تحتوي على تعليمات وبعضها أقصر من نافذة السياق؛ لذا يستثني الوصفة هذه الحلقات. يكتب `examples/praxis/select_droid_episodes.py` القائمة الخاصة بـ `--dataset.episodes`:

```bash
python examples/praxis/select_droid_episodes.py --repo-id lerobot/droid_1.0.1 \
    --revision refs/pr/11 --out droid_episodes.json
```

تخزّن نسخة Hub مقاطع فيديو بدقة 180x320؛ بينما تم تدريب نقطة التفتيش على تسجيلات DROID بدقة 1280x720. تتمثل البلاطات في نسخ مُكبَّرة بتفاصيل أقل في نسخة Hub، وهو أمر مقبول لاختبار التدخين. للحصول على ضبط دقيق أمين، أنشئ نسخة محلية باستخدام مقاطع الفيديو الخام كما يصف مستودع praxis في `praxis/train/README.md`، ثم وجّه `--dataset.root` إليها.

### التدريب الكامل

الأوزان من نوع bfloat16؛ والإعداد المسبق للمُحسِّن `praxis_adamw` هو AdamW مع التقريب العشوائي (حيث يقوم AdamW العادي بإزالة تحديثات 3e-6)، والمجدول هو إحماء خطي وتلاشي جيبية حتى 3e-7، ويعيد كل كتلة transformer حساب تمريرها الأمامي أثناء التمرير العكسي (`activation_checkpointing`، مفعّل افتراضيًا). تستهلك الأوزان والتدرجات وعزوم المُحسِّن 8 بايت لكل معامل، أي 218 جيجابايت لنموذج 27.2B، موزعة على وحدات معالجة الرسوميات بواسطة FSDP: يتطلب الضبط الدقيق الكامل على الأقل 4 x 80 جيجابايت. وصفة praxis هي 96 نافذة لكل خطوة لمدة 1,200 خطوة؛ على 8 وحدات معالجة رسوميات يكون ذلك `--batch_size=1 --accelerator.gradient_accumulation.steps=12`. يعد `lerobot-train` الدُفعات الدقيقة (خطوة حلقة واحدة تعني دفعة واحدة على كل وحدة معالجة رسوميات) ويحرّك المجدول لكل دفعة دقيقة، لذا فإن التحديثات الـ 1,200 هي `--steps=14400`، مع الإحماء والتلاشي بالخطوات الدقيقة.

```bash
torchrun --nproc-per-node=8 $(which lerobot-train) \
    --dataset.repo_id=lerobot/droid_1.0.1 --dataset.revision=refs/pr/11 \
    --dataset.episodes="$(cat droid_episodes.json)" --rename_map="$RENAME" \
    --policy.path=runwayml/praxis-1-droid-lerobot --policy.device=cuda --policy.push_to_hub=false \
    --parallelism.dp_shard=8 --accelerator.fsdp.mixed_precision_policy.reduce_dtype=float32 \
    --batch_size=1 --accelerator.gradient_accumulation.steps=12 --steps=14400 \
    --policy.scheduler_warmup_steps=600 --policy.scheduler_decay_steps=14400 \
    --num_workers=8 --save_freq=100 --output_dir=outputs/train/praxis_droid
```

تحتوي عملية حفظ واحدة على النموذج المقسّم بحجم 54 جيجابايت (`pretrained_model/`، قابل للتحميل بواسطة `PraxisPolicy.from_pretrained` و`lerobot-eval`) وحالة المُحسِّن بحجم حوالي 108 جيجابايت. يمنع `PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True` تجزئة المُخصِّص، كما هو الحال في مُدرِّب praxis.

تم القياس على 8 × H100 80 جيجابايت باستخدام `praxis-1-droid`، مع نافذة واحدة لكل وحدة معالجة رسومية، وقيمة `--dataset.episodes` تساوي 256 حلقة من DROID (فيديوهات Hub)، و1,000 خطوة لمُحسِّن المُحسِّن: 3.7 ثانية لكل خطوة بعد الخطوة الأولى (التي تُجمِّع النوى)، و48.5 جيجابايت من ذاكرة وحدة معالجة الرسومية لكل رتبة، مع بقاء مُحمِّل البيانات مواكبًا باستخدام 8 عمّال لكل رتبة. ينخفض الخسارة من 0.216 خلال المئة خطوة الأولى إلى 0.190 خلال المئة خطوة الأخيرة (الفيديو من 0.191 إلى 0.171، والإجراء من 0.025 إلى 0.019). يحفظ نقطة الفحص النموذج المجزأ وحالة المُحسِّن في حوالي دقيقتين عبر FSDP. تحصل نقطة الفحص المُحسَّنة على 50 من 56 في `droid_guard` مقابل 54 للنموذج الأساسي: فيديوهات Hub هي توسيعات من 180×320، لذا فإن التحسين الدقيق عليها يُحرّك السياسة بعيدًا عن تسجيلات 1280×720 التي تم تدريبها عليها.

### LoRA

المُكيِّفات عبر PEFT (`pip install -e ".[peft]"`). الأهداف الافتراضية هي مجموعة `expert` الخاصة بـ praxis، ومشغِّلات الانتباه وMLP الخاصة بخبير الإجراء (`PraxisPolicy.PEFT_TARGETS`)؛ بينما تُشكّل مشغِّلات مخرجات الانتباه في الهيكل الأساسي المجموعة الثانية، وتُمرَّر عبر `--peft.target_modules`. أوزان خبراء MoE ليست طبقات خطية ولا تستقبل أي مُكيِّفات. عند تجميد الأوزان الأساسية، يمكن تشغيل LoRA على عدد أقل من وحدات معالجة الرسومات:

```bash
torchrun --nproc-per-node=4 $(which lerobot-train) ... --parallelism.dp_shard=4 \
    --peft.r=16 --peft.lora_alpha=32 --output_dir=outputs/train/praxis_lora
```

اترك `--peft.full_training_modules` غير مضبوط: القيمة الافتراضية لـ `modules_to_save` في السياسة هي عداد التدريب، والذي يجب أن يحمله المُكيّف (ترفض التهيئة مُكيّفًا بدونها)؛ والوحدات الأخرى الوحيدة التي تقبلها هي وحدات الرأس الثلاث في الجهاز، من أجل ضبط دقيق من نقطة الفحص الأساسية (أدناه). انحيازات توجيه MoE تنتمي إلى الأساس وتبقى ثابتة تحت PEFT. قُيس مع r 16 و alpha 32 والأهداف الافتراضية على 4 x H100 (`--parallelism.dp_shard=4`): 5.5 مليون معلمة قابلة للتدريب، 2.3 ثانية لكل خطوة مع نافذة واحدة لكل وحدة معالجة رسومية، 30 جيجابايت من ذاكرة وحدة معالجة رسومية لكل رتبة، مُكيّف بحجم 22 ميغابايت؛ `--parallelism.dp_replicate` مع `dp_shard` (HSDP) يعمل أيضًا. يبقى إجمالي الخسارة قريبًا من 0.22 على مدى 500 خطوة لأن العمود الفقري المجمّد يملك حد الفيديو؛ ينتقل حد الإجراء من 0.026 إلى 0.022. يُحقق المُكيّف لذلك التشغيل 52 من 56 على `droid_guard`، محمّلًا فوق الأساس بواسطة `lerobot-eval`.

يحتوي نقطة الحفظ على المُكيّف (`adapter_config.json`، `adapter_model.safetensors`)؛ ويحمّل `lerobot-eval` نقطة الحفظ هذه فوق النموذج الأساسي عبر `--policy.path`. للحصول على نقطة حفظ عادية للمحاكاة والخادم و`from_pretrained`، ادمج المُكيّف في الأوزان:

```bash
python examples/praxis/merge_praxis_adapter.py --base runwayml/praxis-1-droid-lerobot \
    --adapter outputs/train/praxis_lora/checkpoints/last/pretrained_model --out outputs/praxis-1-droid-lora
```

### الفرق عن مُدرّب praxis

الهدف، وصفة النافذة، المُحسِّن والجدول الزمني هي من praxis. تأتي البيانات من `LeRobotDataset` بدلاً من قارئ ملفات praxis، وتُستمد السحوبات العشوائية من بذرة LeRobot، وعدد الاستدعاءات، والترتيب وموقع الدفعة (بحيث تكون الخسائر قابلة للتكرار لكنها ليست مطابقة خطوة بخطوة لتلك الخاصة بتشغيل praxis)، وتكون نقاط الحفظ نقاط حفظ LeRobot. لم يتم نقل: وضع الإفراط في التكيّف مع السحوبات الثابتة و`no_sync`.

### قم بضبط نقطة التفتيش الأساسية

`praxis-1-base` (`"embodiment": "base"`، `runwayml/praxis-1-base-lerobot`) هو العمود الفقري للفيديو وجذع خبير الإجراءات في نهاية مرحلة ما قبل التدريب، دون تضمين تينسورات الرأس الستة الخاصة بالهيكل (`action_encoder.w1`، `embed_proprio`، `head`، الأوزان والانحيازات) ودون حالة المُحسِّن. لا يتم تحميله كسياسة؛ بل يوجد سكريبتان يحولانه إلى نقطة انطلاق للتدريب الدقيق لهيكل ذراعك الواحد، وهما النسخة من LeRobot لسكريبتَي `compute_norm_stats.py` و`init_heads.py` في مستودع praxis:

```bash
# the normalization statistics of your data: 1 % / 99 % quantiles of the relative actions and the
# mean and std of the proprio over random training windows (no video is read)
python examples/praxis/compute_norm_stats.py --repo-id lerobot/droid_1.0.1 --revision refs/pr/11 \
    --state-key observation.state.cartesian --action-key action.cartesian \
    --episodes droid_episodes.json --n-windows 2000 --out stats.json
# the base plus six new head tensors (`--seed`) and the rig fields: a policy directory that loads
python examples/praxis/init_heads.py --base runwayml/praxis-1-base-lerobot --out outputs/praxis-1-myrig \
    --stats stats.json --tile-height 224 --tile-width 416 --antialias --link
# then the full fine-tune command above with --policy.path=outputs/praxis-1-myrig, or LoRA with the
# six new head tensors trained in full next to the adapters:
torchrun --nproc-per-node=4 $(which lerobot-train) ... --policy.path=outputs/praxis-1-myrig \
    --parallelism.dp_shard=4 --peft.r=16 --peft.lora_alpha=32 \
    --peft.full_training_modules='["train_counter","action_expert.action_encoder.w1","action_expert.embed_proprio","action_expert.head"]'
```

تحتوي عمودا الحالة والإجراء على وضعية DROID ومقبض `[x, y, z, roll, pitch, yaw, gripper]` لكل إطار (أعمدة مجموعة البيانات نفسها، أو خريطة إعادة تسمية). ينسخ `--stats-from <single-arm checkpoint>` كتلة تطبيع موجودة مسبقًا بدلًا من ذلك (مجموعة DROID). تتم إعادة بناء مجموعة DROID من الأساس وإحصاءات نقطة التثبيت المنشورة، وتتمتع بالضبط بإعداد `praxis-1-droid`، وتكون تينسورات الرأس هي تلك الموجودة في `init_heads.py` في مستودع praxis لنفس البذرة، بتةً ببتة. على مجموعة DROID الفرعية من التشغيلات المذكورة أعلاه، يعيد `compute_norm_stats.py` إنتاج إحصاءات نقطة التثبيت ضمن 0.01 م على الفواصل العشرية xyz مع تثبيت المقبض عند 0 و1. يصل التدريب الدقيق الأساسي الخاص بمستودع praxis نفسه (`configs/finetune_base.yaml`، يوم واحد على 8 وحدات معالجة رسومية) إلى 62.5 % على `droid_guard` من هذا الأساس، مقابل 91 % لـ `praxis-1-droid` المدرَّب بنحو 40 ضعف النوافذ: فالأساس هو نقطة انطلاق تعليمية لمجموعة جديدة، وليس بديلًا عن نقطة التثبيت المنشورة. يدرب التدريب الدقيق الكامل كل وزن عند `optimizer_lr`؛ تحت LoRA، تُدرَّب المحوِّلات وتينسورات الرأس الستة (`PraxisPolicy.PEFT_HEAD_MODULES` هي الوحدات الوحيدة، إلى جانب العدّاد، التي تقبلها `full_training_modules`) ويبقى بقية الجذع مجمّدًا؛ ولا يتم نقل خطوات الإحماء الخاصة بالرأس فقط ومقياس معدل تعلّم الرأس من وصفة praxis.

## القيود المعروفة

- جهازان: نقطة التفتيش DROID ذات الذراع الواحدة (`embodiment: single_arm`) وجهاز YAM ذو الذراعين (`bimanual`). يتم ضبط النموذج الدقيق والمحاكاة باستخدام ذراع واحدة.
- تُخرج Praxis أهداف وضعية ديكارتية لذراع مزوّد بمتحكم عرق، ولا تتضمن فئات الروبوت في LeRobot فئة Franka، لذا يتم استخدام الروبوت الفعلي عبر عميل ينفذ الأهداف الديكارتية.
- تُنفّذ دفعة `select_action` بيئاتها بشكل تسلسلي (مكالمة نموذج واحدة لكل بيئة).
- لا يُدعم التقديم عن بُعد. يرفض مُنفّذ المقاطع الافتراضي (`lerobot/inference/policy_runner.py`) أي سياسة تعتمد على الملاحظات السابقة، بينما تعتمد Praxis على إطارات المقاطع المنفَّذة (`current_observation_only=False` في `chunk_inference_spec`)؛ كما أن خطوة البلاطة تعيد أيضًا تغيير حجم إطارات الكاميرا لتناسب لوحة نقطة الحفظ، مما يعني أنها لن تتطابق مع الأشكال التي يفحصها `validate_chunk_input_features`. نفّذ السياسة داخل العملية (`lerobot-eval`، عميل روبوت).

