शोधकर्ताओं ने फोविएटेड डायनामिक ट्रान्सफॉर्मर (FDT) पेश किया, जो मानवीय दृश्य प्रणाली के फोविएटेड सैम्पलिंग और आंखों की गतियों से प्रेरित एक vision transformer आर्किटेक्चर है। मॉडल टोकन को गतिशील रूप से चुनने के लिए फिक्सेशन और फोविएशन मॉड्यूल को एकीकृत करता है, बहु-स्तर एम्बेडिंग्स उत्पन्न करते हुए अनावश्यक जानकारी को फ़िल्टर करता है।
- 50% फिक्सेशन-बजट सेटिंग पर DeiT-S के 80.9% की तुलना में FDT 81.9% सटीकता हासिल करता है।
- आर्किटेक्चर उच्च सटीकता बनाए रखते हुए गुणा-संचय संचालनों को 34.57% कम करता है।
- मॉडल इन चुनौतियों के लिए स्पष्ट प्रशिक्षण के बिना विभिन्न प्रकार के शोर और प्रतिद्वंद्वी हमलों के प्रति मजबूत लचीलापन प्रदर्शित करता है।
ये विशेषताएं FDT को अनुकूलनीय गणना को बढ़े हुए लचीलेपन के साथ जोड़ने वाली कृत्रिम तंत्रिका नेटवर्क्स की ओर एक कदम के रूप में स्थित करती हैं।