Исследователи из Nvidia представили FusionRelight — метод перенастройки освещения портретов, сочетающий физически правдоподобный перенос освещения с сохранением идентичности и компактным выводом в реальном времени. Подход использует Гибридное Слияние Предметных Знаний (HDKF), фреймворк обучения, который дистиллирует априорные знания о физике, отражательной способности и реализме из синтетических данных, данных One-Light-at-a-Time (OLAT) и естественных сцен в модель-студент.

  • HDKF изучает дополнительные априорные знания путем дистилляции направленной по источнику супервизии из меток учителя и деградированных входных данных студента.
  • Фреймворк обучается с пиксельно выровненной RGB, альбедо и нормальным контролем для обеспечения основы физически обоснованного перенастройки освещения.

На отложенном наборе OLAT метод достигает наилучших показателей MSE, PSNR и SSIM среди оцененных методов, оставаясь конкурентоспособным по LPIPS.

  • Дистиллированная модель работает в реальном времени при разрешении 512x512, достигая 11.89 мс на RTX 2060 и 1.82 мс на RTX 4090.

Эта работа решает компромисс между синтезом мелких деталей в диффузионных методах и плохим переносом физически обоснованного перенастройки освещения для неограниченных камер, предоставляя детерминированное быстрое решение для создания живого видео.