قدم باحثو إنفيديا FusionRelight، وهي طريقة لإعادة إضاءة البورتريه تجمع بين نقل الإضاءة المادي المعقول والحفاظ على الهوية والاستدلال في الوقت الفعلي المضغوط. تستخدم هذه الطريقة دمج المعرفة الهجينة للمجال (HDKF)، وهو إطار تدريبي يستخلص مسبقاً من الفيزياء والانعكاسية والواقعية من البيانات الاصطناعية، وواحدة-ضوء-في-الوقت (OLAT)، والبيانات في البرية، لنموذج طالب.
- يتعلم HDKF مسبقات مكملة عن طريق استخراج الإشراف الموجه عبر المصدر من تسميات المعلم وإدخالات الطالب المتدهورة.
- يتم تدريب الإطار باستخدام إشراف RGB ومتطابق بكسلاً، والألبيدو، والسطوح الطبيعية لتوفير أساس لإعادة الإضاءة المستندة إلى الفيزياء.
- على معيار OLAT المحجوز، تحقق الطريقة أفضل MSE وPSNR وSSIM بين الطرق المُقيّمة بينما تبقى تنافسية في LPIPS.
- يعمل النموذج المُستخلص في الوقت الفعلي بدقة 512x512، محققاً 11.89 مللي ثانية على RTX 2060 و1.82 مللي ثانية على RTX 4090.
يعالج هذا العمل المقايضة بين توليد التفاصيل الدقيقة في طرق الانتشار ونقل الإضاءة المستندة إلى الفيزياء بشكل ضعيل للكاميرات غير المقيدة، من خلال تقديم حل حتمي وسريع لإنشاء الفيديو المباشر.