本論文は、産業用精密接触タスクのために事前学習済みAction Chunking Transformer (ACT) ポリシーを強化するために設計された強化学習のポストトレーニングフレームワークであるPAC-ACTを紹介します。この手法はチャンクレベルでのポリシー最適化を再定式化し、ハイブリッド行動事前制約を持つACT転移型actor-criticアーキテクチャを利用します。

  • PAC-ACTは、ハイブリッド行動事前制約を用いて、オンラインファインチューニング中に事前学習済みの行動分布を保持します。
  • 産業用ベンチマークでの実験は、低レイテンシとGPUメモリ使用量を維持しつつ、タスク成功率、接触安定性、力安全性の向上を示しています。
  • Contourタスクにおいて、このフレームワークはピーク接触力を削減し、60 Nを超える力の読み取りの割合を46倍減少させます。
  • スパース報酬のアブレーション実験は、行動事前制約がランダム化された初期姿勢の下で効果的な探索を可能にすることを示しています。

著者らは、これが接触豊富なタスクにおける分布シフトに対処し、ビジョン言語アクションモデルに関連する高い推論レイテンシとメモリコストなしで、ビジョンアクションチャンキングポリシーが信頼性の高いロボット制御を実現できるようにするため、重要であるとみなしています。