作者提出了 Latent Memory Palace (LMP),一种通过在自回归潜在空间中组织信息来实现连续控制策略推理的方法。该方法将这种推理公式化为具有自回归潜在分布的变分推断,并推导出一种潜在空间强化学习技术以优化其变分下界。
- 所得到的策略 LMP-$\pi$ 在模拟和真实领域实现了强大的实证性能,同时展现出可解释且自适应的测试时计算分配。
- 该框架还生成了一个可变长度动作词元化器 LMP-$\texttt{tok}$,显著提升了下游自回归策略的性能。
这些结果通过变分推断的视角,为控制中的潜在推理提供了新的观点。