Srijan Srivastava telah melatih model dengan 117 juta parameter menggunakan arsitektur Silia kustom, memanfaatkan sponsor komputasi untuk menyelesaikan pelatihan hanya dalam lima jam di GPU NVIDIA H100.
- Model ini memanfaatkan arsitektur Silia, yang menampilkan perhatian multi-head dengan embedding posisi rotari, normalisasi QK, dan proyeksi output yang terikat bobotnya.
- Pelatihan dilakukan pada dataset synth-100M, memproses sekitar 82 juta token dengan ukuran batch 8 dan panjang konteks 1024.
- Penulis mencatat bahwa model tersebut sangat kurang dilatih karena jumlah token yang terbatas relatif terhadap ukuran parameter dan tingkat pembelajaran yang rendah, menghasilkan kerugian yang lebih tinggi daripada yang mungkin dicapai.
- Kode untuk arsitektur dan skrip inferensi tersedia di GitHub, sementara makalah penelitian dan bobot model di-hosting di Hugging Face dan Zenodo.
Rilis ini menyediakan implementasi open-source dari varian transformer Silia untuk eksperimen lebih lanjut, meskipun penulis secara eksplisit menyatakan bahwa benchmarking belum dilakukan.