Des chercheurs de Nvidia ont présenté FusionRelight, une méthode de re-éclairage de portraits qui combine un transfert d'illumination physiquement plausible avec la préservation de l'identité et une inférence compacte en temps réel. L'approche utilise la Fusion Hybride de Connaissances de Domaine (HDKF), un cadre d'entraînement qui distille les a priori de physique, de réflectance et de réalisme à partir de données synthétiques, One-Light-at-a-Time (OLAT) et in-the-wild dans un modèle étudiant.

  • HDKF apprend des a priori complémentaires en distillant une supervision par routage source à partir des étiquettes du professeur et des entrées dégradées de l'étudiant.
  • Le cadre est entraîné avec une supervision pixelisée RGB, d'albédo et de normale pour fournir un substrat au re-éclairage ancré physiquement.
  • Sur un benchmark OLAT réservé, la méthode atteint les meilleurs MSE, PSNR et SSIM parmi les méthodes évaluées tout en restant compétitive en LPIPS.
  • Le modèle distillé fonctionne en temps réel à une résolution de 512x512, atteignant 11,89 ms sur un RTX 2060 et 1,82 ms sur un RTX 4090.

Ce travail traite du compromis entre la synthèse de détails fins dans les méthodes de diffusion et le mauvais transfert du re-éclairage ancré physiquement vers des caméras non contraintes en fournissant une solution déterministe et rapide pour la création de vidéo en direct.