أطلق باحث نموذج Qllm، وهو بنية جديدة لنموذج لغوي كبير تحقق وقت استنتاج O(1) من خلال القضاء على الحاجة إلى ذاكرة التخزين المؤقت للقيم الرئيسية (KV). تم بناء النموذج الذي يحتوي على 100 مليون معلمة على أساسية الربط الطوري ولا يعتمد على هياكل المحولات أو mamba.
- يستخدم النموذج بنية جديدة تعتمد على الربط الطوري لتمكين الاستنتاج الثابت الوقت بغض النظر عن طول التسلسل.
- تم تدريبه على 4 مليار رمز من مجموعات بيانات DCLM و Fineweb و Smoltalk2، مع تدريب مسبق أولي لمدة 1 مليار رمز للقواعد النحوية.
- يتضمن المشروع الكود المفتوح المصدر ونقطة تفتيش Hugging Face لمتغير qllm-pam-v11-e3k3-chat.
يفترض المؤلفون أن هذه البنية قد تؤدي أداءً خاصاً بشكل جيد لنماذج الصوت بسبب تصميمها، على الرغم من أنها موضوعة حالياً كدليل على المفهوم.