Thinking Machines Lab telah merilis Inkling, model pertamanya yang dilatih dari awal dengan bobot terbuka yang tersedia untuk penyesuaian lebih lanjut. Model ini adalah transformer Mixture-of-Experts yang memiliki total 975B parameter dan 41B parameter aktif, mendukung jendela konteks hingga 1M token.
- Pra-pelatihan memanfaatkan 45 triliun token data teks, gambar, audio, dan video.
- Model ini menerima input teks, gambar, dan audio tetapi hanya menghasilkan teks UTF-8.
- Arsitekturnya mencakup transformer decoder-only berlapis 66 dengan lapisan feed-forward MoE yang jarang mengikuti desain DeepSeek-V3.
- Inkling memiliki upaya berpikir yang dapat dikontrol, memungkinkan pengguna menyesuaikan anggaran token melalui pesan sistem atau argumen API.
- Model ini menggunakan sepertiga jumlah token dibandingkan Nemotron 3 Ultra untuk kinerja Terminal Bench 2.1 yang setara.
- Varian lebih kecil, Inkling-Small (total 276B, aktif 12B), sedang dalam pengujian dan akan merilis bobotnya nanti.
Model ini menawarkan biaya dan latensi per panggilan yang dapat disesuaikan melalui mekanisme upaya yang dapat dikontrol, memposisikannya sebagai dasar untuk kustomisasi dan pipa agentic.