잠재 기억 궁전은 제어를 위한 추론을 자기회귀적 변분 추론으로 공식화한다

저자들은 정보를 자기회귀적 잠재 공간에 조직하여 연속 제어 정책의 추론을 가능하게 하는 방법인 잠재 기억 궁전(LMP)을 소개합니다. 이 접근법은 이 추론을 자기회귀적 잠재 분포를 가진 변분 추론으로 공식화하고, 그 변분 하한을 최적화하기 위한 잠재 공간 강화 학습 기법을 도출합니다.

• 결과적으로 얻은 정책 LMP-$\pi$는 시뮬레이션 및 실제 환경에서 강력한 경험적 성능을 달성하면서도 해석 가능하고 적응적인 테스트 시간 컴퓨팅 할당을 보여줍니다.
• 이 프레임워크는 또한 다운스트림 자기회귀적 정책의 성능을 크게 향상시키는 가변 길이 액션 토크나이저 LMP-$\texttt{tok}$도 제공합니다.

이러한 결과는 변분 추론의 관점을 통해 제어를 위한 잠재 추론에 대한 새로운 관점을 제시합니다.