연구원들은 작업을 시간 조건부 잠재 도메인 번역으로 재구성하여 장시간 비디오 리라이트의 시간적 불연속성을 해결합니다. 이 프레임워크는 경계를 통해 대상 도메인 잠재 변수를 전파하여 청크 간 연속성을 강제하고, 마스크된 대상 도메인 자기 조건화를 사용하여 이 동작을 학습 가능하게 만듭니다.

  • 시간적 일관성을 유지하기 위해 청크 경계를 통해 대상 도메인 잠재 변수를 전파합니다.
  • 마스크된 대상 도메인 자기 조건화를 사용하여, 시간적으로 마스크된 전파 컨텍스트에서 계속하도록 모델을 훈련합니다.
  • 초기 대상 도메인 상태를 설정하기 위해 리라이트 프롬프트 앵커와 함께 웜스타트 프롬프팅을 도입합니다.
  • 제어 가능한 생성 모델을 사용하여 프롬프트 기반 리라이트를 위한 일반적인 인터페이스를 제공합니다.

야외 장시간 비디오에 대한 실험은 시간적 일관성이 크게 개선되었음을 보여주며, 청크 경계 아티팩트가 크게 줄어 들고 청크 간 원치 않는 외관 변화가 크게 억제되었습니다.