Peneliti dari Nvidia telah memperkenalkan FusionRelight, sebuah metode untuk pencahayaan ulang potret yang menggabungkan transfer iluminasi yang secara fisik masuk akal dengan pelestarian identitas dan inferensi real-time yang ringkas. Pendekatan ini memanfaatkan Fusi Pengetahuan Domain Hibrida (HDKF), sebuah kerangka pelatihan yang mendistilasi prior fisika, reflektansi, dan realisme dari data sintetis, One-Light-at-a-Time (OLAT), dan di alam liar ke dalam model siswa.

  • HDKF mempelajari prior pelengkap dengan mendistilasi supervisi yang dialirkan dari label guru dan input siswa yang terdegradasi.
  • Kerangka kerja ini dilatih dengan supervisi RGB, albedo, dan normal yang sejajar secara piksel untuk menyediakan substrat bagi pencahayaan ulang yang berlandaskan fisika.
  • Pada benchmark OLAT yang diisolasi, metode ini mencapai MSE, PSNR, dan SSIM terbaik di antara metode yang dievaluasi sambil tetap kompetitif dalam LPIPS.
  • Model yang didistilasi berjalan secara real-time pada resolusi 512x512, mencapai 11.89 ms pada RTX 2060 dan 1.82 ms pada RTX 4090.

Karya ini mengatasi trade-off antara sintesis detail halus dalam metode difusi dan transfer pencahayaan ulang yang berlandaskan fisika yang buruk ke kamera tanpa batasan dengan menyediakan solusi deterministik dan cepat untuk pembuatan video langsung.