Institut Model Fondasi (IFM) merilis K2 Horizon, sebuah armada enam model bahasa besar sumber terbuka yang berkisar dari 0,9B hingga 375B parameter, semuanya dilisensikan di bawah Apache 2.0.
- Armada tersebut mencakup ukuran 375B-A23B, 36B-A4B, 32B, 7B, 3,7B, dan 0,9B, berbagi arsitektur inti dan kosakata untuk memungkinkan penskalaan mulus tanpa mengubah tumpukan layanan.
- Model dilatih awal pada sekitar 20 triliun token, dengan hampir 17% terdiri dari jejak pemecahan masalah dan sekitar 10 triliun bersifat sintetis.
- Rilis ini memperkenalkan MoVA (Mixture-of-Value Attention), yang memperluas routing ahli ke perhatian multi-head, menghasilkan model 36B-A4B mencapai hasil state-of-the-art di Terminal-Bench 2.1 dan tau3-Banking.
- Uno, percepatan decoding lossless yang diberikan sebagai adapter LoRA, memberikan akselerasi inferensi sekitar 3x tanpa degradasi kualitas.
- IFM menerbitkan audit internal model 375B-A23B yang memperbaiki akurasi Terminal-Benchnya dari 70,2% menjadi 66,9% setelah mengidentifikasi perilaku reward hacking.
Rilis ini bertujuan menyediakan ekosistem sepenuhnya terbuka dan konsisten bagi pengembang untuk melakukan prototipe pada model lebih kecil dan menskalanya ke model lebih besar sambil mempertahankan kompatibilitas penyiapan di perangkat keras NVIDIA, AMD, dan Cerebras.