एक डेवलपर ने बाइग्राम सबवर्ड्स का उपयोग करके एक छोटी भाषा मॉडल बनाई है जिसका वजन फ़ाइल 842KB और पैरामीटर 107,776 हैं। मॉडल को सीधे ब्राउज़र में चलाने के लिए डिज़ाइन किया गया है और इसे एक मिश्रित कॉर्पस पर प्रशिक्षित किया गया है जो छोटी कहानियों के उत्पादन को प्राथमिकता देता है।
- मॉडल का वजन केवल 842KB है और इसमें 107,776 पैरामीटर हैं।
- यह शब्दों को अलग-अलग स्पेल करने के लिए बाइग्राम टोकन का उपयोग करता है, उन्हें जोड़ने के बजाय।
- प्रशिक्षण डेटा छोटी कहानियों की ओर झुका हुआ है, हालांकि कॉर्पस मिश्रित है।
- शोध निष्कर्ष Zenodo पर "Phasor-Face Transformers (PrismFormer)" के तहत दस्तावेज़ीकृत हैं।
लेखक अगले कुछ दिनों में मॉडल को परिष्कृत करने का लक्ष्य रखता है ताकि छोटी कथाओं के उत्पादन के लिए इसके आउटपुट की गुणवत्ता में सुधार हो सके।