저자들은 RGB 관찰과 자연어 의도로부터 상대적 목표 자세를 예측하여 언어 조건부 카메라 움직임을 생성하는 비전-언어 모델인 LIME을 제안합니다.
- 시스템은 자기 중심 영상으로부터 다중 의도 감독 신호를 채굴하며, 타당한 의도와 관찰 이득 설명, 그리고 SE(3) 목표 자세를 페어링합니다.
- LIME은 자기회귀적 관찰 이득 출력과 연속 흐름 매칭 자세 헤드를 결합하여 다음 뷰가 무엇을 드러내야 하는지를 공동으로 예측합니다.
- 이 설계는 모델이 물체 검사 또는 가려진 영역 노출과 같은 작업을 위해 다중 가설 목표 뷰를 표현할 수 있게 합니다.
이 접근법은 LIME이 수동적인 인간 영상으로부터 능동적으로 카메라 자세를 선택하는 방법을 학습하며, 일반적인 자기 중심 기록을 의도 인식 능동 지각을 위한 감독 신호로 효과적으로 전환할 수 있음을 보여줍니다.