أعلنت Percepta عن بنية شبكة عصبية جديدة تسمى Spotlight، تحل محل آليات الانتباه التقليدية بنظام ذاكرة قابل للكتابة وغير محدود. يسمح هذا التصميم بنمو معرفة الموديل ومهاراته دون الحاجة إلى تغيير أوزان الموديل أو زيادة تكاليف الوصول لكل توكن.
- تفصل Spotlight وحدة ذكاء للحساب عن الذاكرة التي تحتفظ بالمعرفة والإجراءات.
- البنية متفرقة بشكل تعسفي، مما يسمح بانكسار جزء الذاكرة المستخدمة مع نمو السعة.
- يقرر الموديل ما يجب تحميله والكتابة فوقه توكنًا تلو الآخر، مما يمكّن من قدرات جديدة دون إعادة تدريب.
- على عكس نماذج mixture-of-experts، تلمس Spotlight عددًا صغيرًا من الخلايا بغض النظر عن حجم الذاكرة الكلي.
يسمح هذا الفصل لوحدة الذكاء بالبقاء ثابتة الحجم بينما تتوسع الذاكرة، مما يسمح نظريًا بنمو ذاكرة لا نهائي دون زيادة الحمل الحسابي أثناء الوصول.