Cet article présente PAC-ACT, un cadre d'entraînement postérieur par renforcement conçu pour améliorer les politiques Action Chunking Transformer (ACT) pré-entraînées pour les tâches industrielles de contact de précision. La méthode reformule l'optimisation des politiques au niveau du chunk et utilise une architecture actor-critic transférée avec ACT et une contrainte hybride de prior comportemental.
- PAC-ACT préserve la distribution d'action pré-entraînée pendant le fine-tuning en ligne à l'aide d'une contrainte hybride de prior comportemental.
- Les expériences sur des benchmarks industriels montrent des améliorations du succès de la tâche, de la stabilité du contact et de la sécurité de la force tout en maintenant une faible latence et une utilisation mémoire GPU réduite.
- Sur la tâche Contour, le cadre réduit la force de contact maximale et diminue par 46 fois la proportion des lectures de force supérieures à 60 N.
- Les ablations à récompense clairsemée démontrent que la contrainte de prior comportemental permet une exploration efficace sous des poses initiales randomisées.
Les auteurs considèrent cela comme significatif car il traite du décalage de distribution dans les tâches riches en contact, permettant aux politiques de chunking vision-action d'atteindre un contrôle robotique fiable sans les coûts élevés de latence d'inférence et de mémoire associés aux modèles vision-langage-action.