Pesquisadores da Nvidia introduziram o FusionRelight, um método para realinhamento de retratos que combina transferência de iluminação fisicamente plausível com preservação de identidade e inferência compacta em tempo real. A abordagem utiliza a Fusão Híbrida de Conhecimento de Domínio (HDKF), uma estrutura de treinamento que destila priors de física, refletância e realismo a partir de dados sintéticos, One-Light-at-a-Time (OLAT) e in-the-wild em um modelo estudante.

  • O HDKF aprende priors complementares ao destilar supervisão roteada por origem a partir de rótulos do professor e entradas degradadas do estudante.
  • A estrutura é treinada com supervisão pixel-alinhada de RGB, albedo e normal para fornecer uma base para realinhamento fundamentado na física.
  • Em um benchmark OLAT reservado, o método alcança os melhores valores de MSE, PSNR e SSIM entre os métodos avaliados, mantendo-se competitivo em LPIPS.
  • O modelo destilado opera em tempo real na resolução 512x512, atingindo 11,89 ms em uma RTX 2060 e 1,82 ms em uma RTX 4090.

Este trabalho aborda o trade-off entre a síntese de detalhes finos em métodos de difusão e a má transferência do realinhamento fundamentado na física para câmeras não restritas, fornecendo uma solução determinística e rápida para criação de vídeo ao vivo.