В этой статье представлен PAC-ACT, постобучающий фреймворк на основе обучения с подкреплением, предназначенный для улучшения предварительно обученных политик Action Chunking Transformer (ACT) для промышленных задач с точным контактом. Метод переформулирует оптимизацию политики на уровне чанков и использует архитектуру актор-критика, переданную через ACT, с гибридным ограничением по поведенческому приоритету.
- PAC-ACT сохраняет предварительно обученное распределение действий во время онлайн-тонкой настройки с помощью гибридного ограничения по поведенческому приоритету.
- Эксперименты на промышленных бенчмарках показывают улучшение успеха задачи, стабильности контакта и безопасности силы при сохранении низкой задержки и использования памяти GPU.
- На задаче Contour фреймворк снижает пиковую контактную силу и уменьшает долю показаний силы выше 60 N в 46 раз.
- Аблиации с разреженными наградами демонстрируют, что ограничение по поведенческому приоритету позволяет эффективно исследовать пространство при рандомизированных начальных позах.
Авторы считают это значимым, поскольку оно решает проблему смещения распределения в задачах с богатым контактом, позволяя политикам визуального чанкинга действий достигать надежного управления роботом без высокой задержки вывода и затрат памяти, характерных для моделей vision-language-action.