Nvidiaの研究者らは、物理的に妥当な照明転送とアイデンティティの保持、コンパクトなリアルタイム推論を組み合わせるポートレート再照明手法であるFusionRelightを導入した。このアプローチは、合成データ、One-Light-at-a-Time (OLAT)、および野外データから物理学、反射率、リアリティの事前知識を学生モデルに蒸留するトレーニングフレームワークであるハイブリッドドメイン知識融合（HDKF）を利用している。

  • HDKFは、教師ラベルと劣化された学生入力からのソースルーティングされた監督を蒸留することで補完的な事前知識を学習する。
  • このフレームワークは、物理的に根拠のある再照明のための基盤を提供するために、ピクセルアライメントされたRGB、アルベド、および法線による監督でトレーニングされる。
  • 保留されたOLATベンチマークにおいて、本手法は評価された手法の中で最も優れたMSE、PSNR、SSIMを達成し、LPIPSにおいても競争力がある。
  • 蒸留されたモデルは512x512の解像度でリアルタイムに動作し、RTX 2060では11.89 ms、RTX 4090では1.82 msを達成する。

この研究は、拡散手法における細部の合成と物理的に根拠のある再照明の制約のないカメラへの不良な転送というトレードオフに対処し、ライブビデオ作成のための決定論的で高速なソリューションを提供する。