أطلقت AbstractPhil نموذج Beatrix V3، وهو نموذج لغوي على مستوى البايت يحتوي على 376 مليون معلمة ويستخدم "ذاكرة splat" في كل كتلة انتباه. يتميز النموذج بمفردات بحجم 256 ونافذة سياق بحجم 4,096 بايت، وتم تدريبه على 64.4 مليار بايت باستخدام بطاقتي RTX 5090.

  • تصل البنية إلى 0.9861 بت لكل بايت على نص ويب محفوظ دون ارتفاعات في الخسارة.
  • يتضمن محولات قابلة للفصل بعد كل كتلة تحتوي على 13.7 مليون معلمة للتعامل مع مراحل منهجية محددة.
  • يُظهر النموذج قدرات قوية في ترميز النص، مساوية لأداء T5 في كتله المتوسطة.
  • تُظهر ذاكرة splat قيودًا في الاسترجاع طويل المدى مقارنة بضوابط softmax، مما يدفع إلى خطط لنهج هجين.

يشمل الإصدار أوزان النموذج والوثائق التقنية، ويدعو إلى التعليقات حول تحسينات البنية مثل آليات الانتباه الهجين ووحدات الذاكرة المنسية.