来自 Nvidia 的研究人员推出了 FusionRelight，这是一种用于人像重光照的方法，它将物理上合理的照明转移与身份保持以及紧凑的实时推理相结合。该方法利用混合领域知识融合（HDKF）训练框架，将合成数据、一次一盏光（OLAT）数据和真实场景数据中的物理、反射率和真实性先验蒸馏到一个学生模型中。

  • HDKF 通过从教师标签和退化的学生输入中蒸馏源路由监督来学习互补先验。
  • 该框架使用像素对齐的 RGB、反照率和法线监督进行训练，以提供物理基础重光照的基础。
  • 在保留的 OLAT 基准测试上，该方法在评估的方法中取得了最佳的 MSE、PSNR 和 SSIM 指标，同时在 LPIPS 方面保持竞争力。
  • 蒸馏后的模型在 512x512 分辨率下实时运行，在 RTX 2060 上达到 11.89 ms，在 RTX 4090 上达到 1.82 ms。

这项工作通过为实时视频创作提供确定性的快速解决方案，解决了扩散方法中细粒度细节合成与物理基础重光照在非受限相机场景下转移效果差之间的权衡问题。