Seorang peneliti telah merilis Qllm, sebuah arsitektur model bahasa besar baru yang mencapai waktu inferensi O(1) dengan menghilangkan kebutuhan akan cache kunci-nilai (KV). Model 100M parameter ini dibangun berdasarkan asosiativitas fase dan tidak bergantung pada struktur transformer atau mamba.
- Model ini menggunakan arsitektur baru berbasis asosiativitas fase untuk memungkinkan inferensi waktu konstan terlepas dari panjang sekuens.
- Model ini dilatih pada 4B token dari dataset DCLM, Fineweb, dan Smoltalk2, dengan pra-pelatihan awal 1B token untuk tata bahasa.
- Proyek ini mencakup kode sumber terbuka dan checkpoint Hugging Face untuk varian qllm-pam-v11-e3k3-chat.
Para penulis berhipotesis bahwa arsitektur ini mungkin berkinerja sangat baik untuk model suara karena desainnya, meskipun saat ini diposisikan sebagai bukti konsep.