AbstractPhil ने Beatrix V3 जारी किया है, जो 376 मिलियन पैरामीटर वाला एक बाइट-लेवल भाषा मॉडल है जो प्रत्येक ध्यान ब्लॉक में "splat memory" का उपयोग करता है। मॉडल में 256 का शब्दावली और 4,096 बाइट की संदर्भ खिड़की है, जिसे दो RTX 5090 कार्ड्स पर 64.4 अरब बाइट्स पर प्रशिक्षित किया गया।
- आर्किटेक्चर बिना नुकसान के चोटियों के लिए रखे गए वेब टेक्स्ट पर प्रति बाइट 0.9861 बिट प्राप्त करता है।
- इसमें प्रत्येक ब्लॉक के बाद विशिष्ट पाठ्यक्रम चरणों को संभालने के लिए 13.7 मिलियन पैरामीटर वाले अलग किए जा सकने वाले एडाप्टर्स शामिल हैं।
- मॉडल मजबूत टेक्स्ट एन्कोडिंग क्षमताओं को प्रदर्शित करता है, अपने मध्य ब्लॉक्स में T5 के प्रदर्शन के बराबर है।
- softmax नियंत्रणों की तुलना में लंबी दूरी की स्मृति में splat memory सीमाएं दिखाता है, जिससे एक मिश्रित दृष्टिकोण के लिए योजनाएं बन रही हैं।
रिलीज़ में मॉडल वजन और तकनीकी दस्तावेज़ शामिल हैं, जो हाइब्रिड ध्यान तंत्र और भूलने वाली मेमोरी मॉड्यूल जैसे आर्किटेक्चरल सुधारों पर प्रतिक्रिया आमंत्रित करते हैं।