Thinking Machines Lab telah merilis Inkling, model Mixture-of-Experts multimodal baru yang dirancang untuk penalaran efisien token dan pemahaman asli terhadap input teks, gambar, dan audio. Together AI membuat model ini tersedia di platform inferensinya dengan akses hari-nol.
- Inkling memiliki 975B parameter total dengan 40B parameter aktif per token dan jendela konteks 1M.
- Arsitekturnya menggunakan perhatian relatif yang dikondisikan oleh kueri, konvolusi kausal pendek, dan sink ahli bersama untuk eksekusi yang efisien.
- Mendukung upaya inferensi yang dapat dikontrol, memungkinkan pengembang menyesuaikan kedalaman penalaran, latensi, dan penggunaan token.
- Evaluasi awal menunjukkan kinerja kuat dalam penalaran ilmiah, matematika, pemrograman, dan tugas peramalan.
- Model ini menerima input teks, gambar, dan audio melalui tumpukan decoder terpadu untuk menghasilkan output teks.
Pengembang dapat mengakses Inkling melalui Together AI Serverless dengan API yang kompatibel dengan OpenAI, memungkinkan pembuatan aplikasi multimodal tanpa mengelola infrastruktur.