تقدم هذه الورقة بحثية إطار PAC-ACT، وهو إطار ما بعد التدريب للتعزيز المعزز مصمم لتعزيز سياسات Action Chunking Transformer (ACT) المدربة مسبقًا لمهام اللمس الدقيقة الصناعية. تعيد الطريقة صياغة تحسين السياسات على مستوى القطع وتستخدم بنية وكيل-ناقد منقولة بواسطة ACT مع قيد أولي سلوكي هجين.
- يحافظ PAC-ACT على توزيع الإجراء المدرب مسبقًا أثناء ضبط الدقة عبر الإنترنت باستخدام قيد أولي سلوكي هجين.
- تُظهر التجارب على المعايير الصناعية تحسنًا في نجاح المهمة، واستقرار اللمس، وسلامة القوة مع الحفاظ على زمن استجابة منخفض واستخدام ذاكرة GPU.
- في مهمة Contour، يقلل الإطار من ذروة قوة اللمس ويقلل نسبة قراءات القوة فوق 60 نيوتن بمقدار 46 مرة.
- تُظهر تجارب الاستبعاد ذات المكافآت المتفرقة أن القيد الأولي السلوكي يتيح استكشافًا فعالاً تحت وضعات أولية عشوائية.
يعتقد المؤلفون أن هذا مهم لأنه يعالج انزياح التوزيع في المهام الغنية باللمس، مما يسمح لسياسات تقطيع الرؤية-الإجراء بتحقيق تحكم موثوق في الروبوت دون تكاليف زمن الاستدلال العالي والذاكرة المرتبطة بنماذج الرؤية-اللغة-الإجراء.