एक शोधकर्ता ने Qllm जारी किया है, एक नया बड़ा भाषा मॉडल आर्किटेक्चर जो कुंजी-मूल्य (KV) कैश की आवश्यकता को समाप्त करके O(1) इनफरेंस समय प्राप्त करता है। 100M पैरामीटर वाला मॉडल फेज एसोसिएटिविटी पर बनाया गया है और ट्रान्सफॉर्मर या mamba संरचनाओं पर निर्भर नहीं करता है।
- मॉडल अनुक्रम की लंबाई से स्वतंत्र स्थिर-समय इनफरेंस को सक्षम बनाने के लिए फेज एसोसिएटिविटी पर आधारित एक नवीन आर्किटेक्चर का उपयोग करता है।
- इसका प्रशिक्षण DCLM, Fineweb और Smoltalk2 डेटासेट से 4B टोकन पर किया गया था, व्याकरण के लिए 1B टोकन का प्रारंभिक पूर्व-प्रशिक्षण सहित।
- परियोजना में खुला स्रोत कोड और qllm-pam-v11-e3k3-chat वेरिएंट के लिए एक Hugging Face चेकपॉइंट शामिल है।
लेखकों का मानना है कि इसके डिज़ाइन के कारण यह आर्किटेक्चर वॉइस मॉडल के लिए विशेष रूप से अच्छा प्रदर्शन कर सकता है, हालांकि वर्तमान में इसे एक अवधारणा प्रमाण के रूप में स्थित किया गया है।