Este artigo apresenta o PAC-ACT, um framework de pós-treinamento baseado em aprendizado por reforço projetado para aprimorar políticas do Action Chunking Transformer (ACT) pré-treinadas para tarefas industriais de contato de precisão. O método reformula a otimização da política no nível de chunk e utiliza uma arquitetura actor-critic transferida com ACT, juntamente com uma restrição híbrida de prior de comportamento.
- O PAC-ACT preserva a distribuição de ações pré-treinada durante o ajuste fino online usando uma restrição híbrida de prior de comportamento.
- Experimentos em benchmarks industriais mostram melhorias no sucesso da tarefa, estabilidade do contato e segurança de força, mantendo baixa latência e uso de memória GPU.
- Na tarefa Contour, o framework reduz a força de contato pico e diminui a proporção de leituras de força acima de 60 N em um fator de 46 vezes.
- Ablações com recompensas esparsas demonstram que a restrição de prior de comportamento permite exploração eficaz sob poses iniciais randomizadas.
Os autores consideram isso significativo porque aborda o desvio de distribuição em tarefas ricas em contato, permitindo que políticas de chunking de visão-ação alcancem controle confiável do robô sem a alta latência de inferência e os custos de memória associados aos modelos vision-language-action.