Авторы предлагают LIME, модель компьютерного зрения и языка, которая генерирует движение камеры с учётом языковых условий, предсказывая относительные целевые позы на основе RGB-наблюдений и текстовых намерений.
- Система извлекает многократный надзор по намерениям из эгоцентрического видео, сопоставляя правдоподобные намерения с описаниями прироста наблюдений и целевыми позами SE(3).
- LIME объединяет авторегрессионный выход прироста наблюдений с непрерывной головой позы на основе flow-matching для совместного предсказания того, что должно раскрыть следующее представление.
- Такая архитектура позволяет модели представлять множественные гипотезы целевых представлений для задач, таких как осмотр объектов или выявление скрытых областей.
Подход демонстрирует, что LIME может научиться активно выбирать позы камеры из пассивных видеозаписей человека, эффективно превращая обычные эгоцентрические записи в надзор для активного восприятия с учётом намерений.