Thinking Machines merilis Inkling, LLM multimodal 1T-parameter

Thinking Machines telah merilis Inkling, model bahasa multimodal open-source besar yang tersedia di Hugging Face dan secara native memproses input teks, gambar, dan audio. Model ini memiliki sekitar 1 triliun parameter total dengan 41 miliar parameter aktif, dilatih pada 45 triliun token untuk mendukung penalaran lintas modalitas.

• Arsitektur: Model Mixture-of-Experts (MoE) decoder-only dengan 256 expert, memanfaatkan attention relatif, attention hybrid global/sliding window, dan konvolusi 1D pendek.
• Konteks dan Inferensi: Mendukung jendela konteks 1 juta token dan mencakup layer MTP spekulatif untuk inferensi yang lebih cepat; tersedia dalam varian BF16 dan NVFP4.
• Deployment: Menawarkan dukungan day-0 untuk Hugging Face Transformers, SGLang, vLLM, dan llama.cpp, dengan kebutuhan VRAM sebesar 2 TB untuk BF16 dan 600 GB untuk NVFP4.

Model ini ditujukan untuk adaptasi domain melalui fine-tuning guna membangun aplikasi penalaran multimodal.