PAC-ACT 后训练框架提升 ACT 策略在精密接触操作中的表现

本文介绍了 PAC-ACT，一种旨在增强预训练 Action Chunking Transformer (ACT) 策略以用于工业精密接触任务的强化学习后训练框架。该方法在 chunk 级别重新表述了策略优化，并利用带有混合行为先验约束的 ACT 迁移 actor-critic 架构。

• PAC-ACT 使用混合行为先验约束，在在线微调期间保留预训练的 action 分布。
• 在工业基准测试中的实验表明，任务成功率、接触稳定性和力安全性得到提升，同时保持低延迟和 GPU 内存占用。
• 在 Contour 任务中，该框架降低了峰值接触力，并将超过 60 N 的力读数比例减少了 46 倍。
• 稀疏奖励消融实验表明，行为先验约束使得在随机初始姿态下能够有效探索。

作者认为这很重要，因为它解决了富接触任务中的分布偏移问题，使视觉-action chunking 策略能够在无需 vision-language-action 模型所带来高推理延迟和内存成本的情况下，实现可靠的机器人控制。