Investigadores de Nvidia han presentado FusionRelight, un método para el realce de iluminación en retratos que combina la transferencia de iluminación físicamente plausible con la preservación de la identidad y una inferencia compacta en tiempo real. El enfoque utiliza la Fusión Híbrida de Conocimiento del Dominio (HDKF), un marco de entrenamiento que destila priores de física, reflectancia y realismo a partir de datos sintéticos, One-Light-at-a-Time (OLAT) y del mundo real en un modelo estudiante.

  • HDKF aprende priores complementarios destilando la supervisión dirigida por rutas desde etiquetas de maestro e entradas degradadas del estudiante.
  • El marco se entrena con supervisión alineada a píxeles de RGB, albedo y normal para proporcionar una base para el realce de iluminación fundamentado físicamente.
  • En una prueba OLAT reservada, el método logra los mejores MSE, PSNR y SSIM entre los métodos evaluados mientras se mantiene competitivo en LPIPS.
  • El modelo destilado funciona en tiempo real a una resolución de 512x512, alcanzando 11.89 ms en una RTX 2060 y 1.82 ms en una RTX 4090.

Este trabajo aborda el compromiso entre la síntesis de detalles finos en métodos de difusión y la mala transferencia del realce de iluminación fundamentado físicamente a cámaras no restringidas, proporcionando una solución determinista y rápida para la creación de video en vivo.