يقترح الباحثون نظام تقديم نماذج أساسية للروبوتات يُدعى ROSA، مصمم لمصانع الروبوتات ويتجاوز افتراضات الحوسبة الطرفية لروبوت واحد. يستخدم النظام تقديم مجموعة GPU المشتركة للسماح لأساطيل الروبوتات بالوصول إلى وحدات معالجة الرسومات من فئة الخوادم عبر الشبكة.
يقدم Calibra v0.7.1 مرحلة جديدة لسلامة مجموعة البيانات (Dataset Integrity) تعمل قبل تحليل الجودة والتغطية لمساعدة المستخدمين على التحقق مما إذا كانت مجموعات بيانات الروبوت الخاصة بهم موثوقة.
أطلقت جوجل ديب مايند جيمياني روبوتكس 2، وهي طبقة ذكاء تتكون من ثلاثة نماذج مصممة لتمكين التحكم الكامل بالجسم، وبراعة الأصابع الخمسة، والتعاون بين الروبوتات المتعددة. تتضمن الإصدار نموذج رؤية-لغة-فعل (VLA)، ونموذج رؤية مجسدية للاستدلال (VLM)، ونموذج VLA يعمل على الجهاز، متجاوزةً بذلك قدرات التلاعب السابقة على الطاولات.
قدمت جوجل Gemini Robotics 2، وهي طبقة ذكاء مصممة لتزويد الروبوتات القابلة للتكيف بالتحكم الذكي بالجسم بالكامل، والبراعة المتقدمة، والقدرة على التعاون في فرق. يوسع هذا التحديث قدرات الذكاء الاصطناعي المادي بما يتجاوز المهام الضيقة والمتكررة من خلال تمكين الروبوتات من التفكير في الحركات والتكيف بسرعة مع أجسام جديدة.
أطلقت جوجل نموذج Gemini Robotics ER 2، وهو نموذج جديد للاستدلال الجسدي مصمم لمساعدة الروبوتات على التفكير بسرعة وتخطيط المهام متعددة الخطوات في الوقت الفعلي. يقدم التحديث تحسينات كبيرة مقارنةً بالإصدار السابق ER 1.6، بما في ذلك تتبع التقدم المستمر المعتمد على الفيديو، وإيجاد اللحظات الدقيقة، وقدرات التعاون متعدد الروبوتات الأصلية.
Calibra هو مجموعة أدوات مفتوحة المصدر مصممة للتدقيق في مجموعات بيانات الروبوتات وتحديد مشاكل الجودة قبل التدريب. يوفر أدوات لبناء مجموعات فرعية واعية بالجودة وتقدير نتائج التدريب.
Calibra هي مجموعة أدوات مفتوحة المصدر مصممة لمساعدة الباحثين على تدقيق مجموعات بيانات الروبوتات وتحديد مشكلات الجودة قبل تدريب السياسات. يتضمن الإصدار العام الأول مساحة تفاعلية بعنوان Robot Dataset Health Check لتدقيق مجموعات بيانات LeRobot ومعايرة لـ 30 مجموعة بيانات عامة من LeRobot مع درجات صحية.
تقود مختبرات أبحاث الهندسة البشرية في جامعة بيتسبورغ (HERL) مشروع منصة التنقل والمناورة المساعدة الروبوتية التي توفر الاستقلالية للأشخاص ذوي الإعاقة (RAMMP)، وهو مشروع مدعوم بتمويل يصل إلى 41.5 مليون دولار من ARPA-H. تهدف المبادرة إلى إنشاء حلول تنقل مساعدة أكثر أمانًا ومرونة لمستخدمي الكراسي المتحركة من خلال دمج الروبوتات المتقدمة مع نماذج الرؤية بالذكاء الاصطناعي مفتوحة المصدر من Meta.
أعلنت إنفيديا عن إطلاق Cosmos-H-Dreams، وهو محاكٍ مولّد يعمل في الوقت الفعلي ومشروط بالإجراءات للجراحة الروبوتية، يستخلص قدرات نموذج Cosmos-H-Surgical-Simulator الخاص بها ليحوّلها إلى نموذج طالب سببي. يُقدّم النظام عبر مكتبة إنفيديا FlashDreams المُسرّعة للاستنتاج بالتدفق، مما يتيح التحكم التفاعلي من قبل شخص أو سياسة مُتعلَّمة في حلقة مغلقة.
أطلقت Black Forest Labs نموذج FLUX 3، وهو عائلة من نماذج التدفق متعددة الوسائط تتضمن قدرات توليد الفيديو مع الصوت الأصلي. يتضمن الإصدار أيضًا FLUX-mimic، وهو متغير مصمم لتطبيقات الروبوتات الخاصة بحركة الفيديو.
تقدم هذه المقالة نظرة عامة على الحالة الحالية للمحاكاة في مجال الذكاء الاصطناعي المادي، موضحاً كيف تسد المحاكاة الفجوة البياناتية للروبوتات من خلال تمكين بيئات تدريب قابلة للتوسع وذات واقعية بصرية عالية. وتحدد المقال نموذجاً يعتمد على ثلاثة حواسيب (التدريب، والمحاكاة، وعلى الروبوت)، وتصنف محركات المحاكاة الرئيسية بناءً على قدراتها المحددة وحالات الاستخدام الخاصة بها.
أطلقت إنفيديا نموذج كوزموس 3 إيدج، وهو نموذج عالم مفتوح يتكون من 4 مليارات معلمة مصمم للعمل على الجهاز للروبوتات ووكلاء الذكاء الاصطناعي للرؤية. أُصدر في 20 يوليو على منصة Hugging Face، مما يتيح للنظم فهم المحيط والاستدلال في الوقت الفعلي وتوليد إجراءات الروبوت محليًا دون الاعتماد على السحابة.
أطلقت بولين روبوتكس (Pollen Robotics) جهاز غرابيت (Grabette)، وهو جهاز محمول مفتوح المصدر مصمم لتسجيل بيانات المناورة الروبوتية في العالم الحقيقي دون الحاجة إلى روبوت أو معدات للتحكم عن بعد. يستخدم النظام كاميرا عين السمكة وكاميرا عمق RGBD لالتقاط مسارات ذات 6 درجات من الحرية، مما يتيح للمستخدمين إنشاء مجموعات بيانات نظيفة يمكن معالجتها عبر لوحة تحكم تعمل على المتصفح ومشاركتها على Hugging Face Hub.
أطلقت إنفيديا Cosmos 3 Edge، وهو نموذج عالم مفتوح بـ4 مليارات معلمة مصمم لتقديم أداء بمستوى مراكز البيانات على الأنظمة الطرفية ذات الذاكرة المحدودة. يمكّن النموذج الروبوتات ووكلاء الذكاء الاصطناعي للرؤية من فهم محيطهم، والاستدلال في الوقت الفعلي، وتوليد الإجراءات مباشرةً على أجهزة مثل وحدات NVIDIA Jetson.
أطلقت مسترال آي روبوسترال نافيجيت، وهو أول نموذج مصمم للملاحة الجسدية باستخدام كاميرا RGB واحدة فقط. يقبل النموذج ذو الـ 8 مليار معلمة تعليمات بلغة طبيعية وإدخالات صورية لتوجيه الروبوتات عبر بيئات معقدة مثل المكاتب والإعدادات الخارجية.
يقدم الباحثون RoboTTT، وهي وصفة تدريب تمدد السياق البصري-حركي لنماذج الروبوت الأساسية إلى 8,000 خطوة زمنية دون زيادة زمن الاستدلال. تدمج الطريقة التدريب في وقت الاختبار في سياسات الرؤية-اللغة-الإجراء باستخدام أوزان سريعة يتم تحديثها عبر النزول التدرجي أثناء كل من التدريب والاستدلال.
تُقدم إنفيديا نموذج RoboTTT، وهو نموذج أساسي للروبوتات وصفة تدريب تمدد السياق الحسي-حركي إلى 8000 خطوة زمنية دون زيادة زمن الاستدلال. من خلال دمج التدريب أثناء الاختبار في سياسات الرؤية-اللغة-الإجراء، يضغط النظام التاريخ إلى فضاء الأوزان باستخدام أوزان سريعة تُحدَّث عن طريق النزول التدرجي.
أعلنت شاومي عن Xiaomi-Robotics-U0، وهو نموذج متعدد الوسائط ذاتي الانحدار يحتوي على 38 مليار معامل، مصمم للتوليد الموحد للجسد. يعالج النموذج التوليد الجسدي كتمديد لتوليد الصور ومقاطع الفيديو الأساسية، حيث يحسن بشكل مشترك توليد الصور من النص، وتحرير الصور، وتوليد المشاهد الجسدية، والنقل الجسدي، وتوليد مقاطع الفيديو الجسدية.
تقدم هذه الورقة بحثية إطار PAC-ACT، وهو إطار ما بعد التدريب للتعزيز المعزز مصمم لتعزيز سياسات Action Chunking Transformer (ACT) المدربة مسبقًا لمهام اللمس الدقيقة الصناعية. تعيد الطريقة صياغة تحسين السياسات على مستوى القطع وتستخدم بنية وكيل-ناقد منقولة بواسطة ACT مع قيد أولي سلوكي هجين.
تتعامل إنفيديا مع تحدي التقييم الدقيق لنماذج الأساس الخاصة بالروبوتات، والتي يمكنها الآن اتباع تعليمات اللغة الطبيعية للتحكم في الأشياء. تحدد الشركة التقييم كمشكلة حرجة غير محلولة وتقدم طريقة جديدة لمعالجة هذه القضايا.