Percepta ने Spotlight नामक एक न्यूरल नेटवर्क आर्किटेक्चर पेश किया है, जो पारंपरिक ध्यान तंत्रों (attention mechanisms) को लिखने योग्य और असीमित मेमोरी सिस्टम से बदलता है। यह डिज़ाइन मॉडल के ज्ञान और कौशल को बढ़ने देता है बिना मॉडल के वजन में बदलाव किए या प्रति टोकन एक्सेस लागत बढ़ाए।
- Spotlight गणना के लिए एक बुद्धिमत्ता मॉड्यूल को उस मेमोरी से अलग करता है जो ज्ञान और प्रक्रियाओं को रखती है।
- आर्किटेक्चर मनमाने ढंग से विरल (arbitrarily sparse) है, जिससे क्षमता बढ़ने के साथ उपयोग की गई मेमोरी का हिस्सा कम हो सकता है।
- मॉडल टोकन-दर-टोकन यह तय करता है कि क्या लोड और ओवरराइट करना है, जिससे पुनः प्रशिक्षण के बिना नई क्षमताएं सक्षम होती हैं।
- mixture-of-experts मॉडल्स के विपरीत, Spotlight कुल मेमोरी आकार से स्वतंत्र रूप से कोशिकाओं की एक छोटी संख्या को छूता है।
यह अलगाव बुद्धिमत्ता मॉड्यूल को स्थिर आकार में रहने देता है जबकि मेमोरी विस्तारित होती है, जिसका सैद्धांतिक रूप से एक्सेस के दौरान गणना ओवरहेड बढ़ाए बिना असीमित रूप से बढ़ती मेमोरी की अनुमति मिलती है।