엔비디아 연구진은 물리적으로 타당한 조명 전달과 정체성 보존, 그리고 컴팩트한 실시간 추론을 결합하는 초상화 재조명 방법인 FusionRelight를 소개했습니다. 이 접근 방식은 합성 데이터, One-Light-at-a-Time (OLAT) 데이터 및 자연 환경(in-the-wild) 데이터에서 물리, 반사율, 현실감 사전 지식을 학생 모델로 증류하는 학습 프레임워크인 하이브리드 도메인 지식 융합(HDKF)을 활용합니다.

  • HDKF는 교사 레이블과 저하된 학생 입력으로부터 소스 라우팅된 감독 신호를 증류하여 상호 보완적인 사전 지식을 학습합니다.
  • 이 프레임워크는 물리적으로 근거 있는 재조명을 위한 기반을 제공하기 위해 픽셀 정렬된 RGB, 알베도 및 법선 감독으로 훈련됩니다.
  • 홀드아웃 OLAT 벤치마크에서 이 방법은 평가된 방법 중 가장 우수한 MSE, PSNR 및 SSIM 성능을 달성하면서도 LPIPS에서는 경쟁력 있는 결과를 보입니다.
  • 증류된 모델은 512x512 해상도에서 실시간으로 실행되며, RTX 2060에서 11.89 ms, RTX 4090에서 1.82 ms의 속도를 달성합니다.

이 연구는 확산 방법에서의 세부 사항 합성과 제약 없는 카메라에 대한 물리적으로 근거 있는 재조명의 낮은 전달 사이의 균형을 맞추기 위해 실시간 비디오 생성을 위한 결정적이고 빠른 솔루션을 제공합니다.