본 논문은 산업용 정밀 접촉 작업을 위해 사전 학습된 Action Chunking Transformer (ACT) 정책을 강화하도록 설계된 강화학습 사후 학습 프레임워크인 PAC-ACT를 소개합니다. 이 방법은 청크 수준에서 정책 최적화를 재정의하고 하이브리드 행동 사전 제약이 있는 ACT 이전 액터-크리틱 아키텍처를 활용합니다.

  • PAC-ACT는 하이브리드 행동 사전 제약을 사용하여 온라인 파인튜닝 중 사전 학습된 행동 분포를 보존합니다.
  • 산업용 벤치마크 실험은 낮은 지연 시간과 GPU 메모리 사용량을 유지하면서 작업 성공률, 접촉 안정성 및 힘 안전성을 개선함을 보여줍니다.
  • Contour 작업에서 이 프레임워크는 최대 접촉 힘을 줄이고 60 N을 초과하는 힘 읽기의 비율을 46배 감소시킵니다.
  • 희소 보상 아블레이션 실험은 행동 사전 제약이 무작위로 초기화된 자세 하에서 효과적인 탐색을 가능하게 함을 보여줍니다.

著자들은 이것이 접촉이 풍부한 작업에서의 분포 이동을 해결하고, 비전-언어-액션 모델과 관련된 높은 추론 지연 시간 및 메모리 비용 없이 비전-액션 청킹 정책이 신뢰할 수 있는 로봇 제어를 달성할 수 있게 하므로 중요하다고 간주합니다.