सृजन श्रीवास्तव ने कस्टम Silia आर्किटेक्चर का उपयोग करके 117 मिलियन पैरामीटर वाले मॉडल को ट्रेन किया है, कंप्यूट स्पॉन्सरशिप का लाभ उठाते हुए NVIDIA H100 GPU पर केवल पांच घंटों में ट्रेनिंग पूरी की।
- मॉडल Silia आर्किटेक्चर का उपयोग करता है, जिसमें रोटरी पोजिशनल एम्बेडिंग्स के साथ मल्टी-हेडेड एटेंशन, QK नॉर्मलाइजेशन और वेट-टाइड आउटप्रोजेक्शन शामिल हैं।
- ट्रेनिंग synth-100M डेटासेट पर की गई, जिसमें लगभग 82 मिलियन टोकन को बैच साइज 8 और 1024 की कॉन्टेक्स्ट लंबाई के साथ प्रोसेस किया गया।
- लेखक ने नोट किया है कि पैरामीटर आकार के सापेक्ष सीमित टोकन गिनती और कम लर्निंग रेट के कारण मॉडल कठोरता से अंडर-ट्रेन किया गया है, जिसके परिणामस्वरूप संभावित रूप से प्राप्त होने वाली तुलना में उच्च नुकसान हुआ है।
- आर्किटेक्चर और इनफरेंस स्क्रिप्ट्स के लिए कोड GitHub पर उपलब्ध हैं, जबकि शोध पत्र और मॉडल वेट्स Hugging Face और Zenodo पर होस्ट किए गए हैं।
रिलीज Silia ट्रान्सफॉर्मर वेरिएंट का ओपन-सोर्स इम्प्लीमेंटेशन प्रदान करती है आगे के प्रयोगात्मक कार्य के लिए, हालांकि लेखक स्पष्ट रूप से बताते हैं कि बेंचमार्किंग अभी तक नहीं की गई है।