Nvidia के शोधकर्ताओं ने FusionRelight पेश किया है, जो एक विधि है जो भौतिक रूप से युक्तिसंगत प्रकाश स्थानांतरण को पहचान संरक्षण और संपीड़ित रियल-टाइम इनफरेंस के साथ जोड़ती है। यह दृष्टिकोण हाइब्रिड डोमेन नॉलेज फ्यूजन (HDKF) का उपयोग करता है, एक प्रशिक्षण ढांचा जो सिंथेटिक, वन-लाइट-एट-ए-टाइम (OLAT), और इन-द-वाइल्ड डेटा से भौतिकी, प्रतिबिंब और यथार्थता के पूर्वज्ञान को एक छात्र मॉडल में संक्षिप्त करता है।
- HDKF शिक्षक लेबल और क्षतिग्रस्त छात्र इनपुट से स्रोत-रूटेड निगरानी को संक्षिप्त करके पूरक पूर्वज्ञान सीखता है।
- भौतिक रूप से आधारित रिलिटिंग के लिए एक आधार प्रदान करने के लिए ढांचे का प्रशिक्षण पिक्सेल-अलाइन RGB, एल्बेडो और सामान्य निगरानी के साथ किया गया है।
- एक अलग OLAT बेंचमार्क पर, विधि मूल्यांकित विधियों में सर्वश्रेष्ठ MSE, PSNR, और SSIM प्राप्त करती है जबकि LPIPS में प्रतिस्पर्धी रहती है।
- संक्षिप्त मॉडल 512x512 रिज़ॉल्यूशन पर रियल-टाइम चलता है, RTX 2060 पर 11.89 ms और RTX 4090 पर 1.82 ms तक पहुंचता है।
यह कार्य प्रसारण विधियों में सूक्ष्म विवरण संश्लेषण और बाधाहीन कैमरों के लिए भौतिक रूप से आधारित रिलिटिंग के खराब स्थानांतरण के बीच व्यापार-संधि को हल करता है, लाइव वीडियो निर्माण के लिए एक निश्चित, तेज़ समाधान प्रदान करके।