طور نوح دي أنجيليس آلية انتباه قائمة على التوجيه تجريبية لنماذج GPT، مُطبَّقة في مشروع PyTorch يُدعى RoutingGPT. يستخدم النهج طبقة خطية مُتعلَّمة لاختيار مجموعة فرعية من الرموز كعناصر مفتاح وقيم مع الحفاظ على جميع الرموز كاستعلامات.

  • بنسبة توجيه افتراضية تبلغ 25٪، تنخفض التعقيد من T × T للانتباه الكثيف إلى T × 0.25T.
  • الهدف هو تقليل حساب الانتباه وتمكين أطوال سياق أطول على الأجهزة منخفضة التكلفة.
  • تم إصدار المشروع بموجب رخصة Apache 2.0 وهو حاليًا تجريبي دون تقييم أداء صارم.