Este artículo presenta PAC-ACT, un marco de postentrenamiento basado en aprendizaje por refuerzo diseñado para mejorar las políticas preentrenadas de Action Chunking Transformer (ACT) para tareas industriales de contacto de precisión. El método reformula la optimización de políticas a nivel de chunk y utiliza una arquitectura actor-crítico transferida con ACT junto con una restricción híbrida de prior de comportamiento.
- PAC-ACT preserva la distribución de acciones preentrenada durante el ajuste fino en línea utilizando una restricción híbrida de prior de comportamiento.
- Los experimentos en benchmarks industriales muestran mejoras en el éxito de la tarea, la estabilidad del contacto y la seguridad de fuerza, manteniendo baja latencia y uso de memoria GPU.
- En la tarea Contour, el marco reduce la fuerza de contacto pico y disminuye la proporción de lecturas de fuerza por encima de 60 N en un factor de 46 veces.
- Las ablaciones con recompensas dispersas demuestran que la restricción de prior de comportamiento permite una exploración efectiva bajo poses iniciales aleatorizadas.
Los autores consideran esto significativo porque aborda el cambio de distribución en tareas ricas en contacto, permitiendo que las políticas de chunking de visión-acción logren un control fiable del robot sin la alta latencia de inferencia y los costes de memoria asociados con los modelos vision-language-action.