Thinking Machines a publié Inkling, un grand modèle de langage multimodal open-source disponible sur Hugging Face qui traite nativement les entrées textuelles, image et audio. Le modèle comporte environ 1 billion de paramètres au total avec 41 milliards de paramètres actifs, entraîné sur 45 billions de tokens pour prendre en charge le raisonnement entre les modalités.

  • Architecture : Un modèle Mixture-of-Experts (MoE) décodeur uniquement avec 256 experts, utilisant l'attention relative, une attention hybride globale/fenêtre glissante et des convolutions 1D courtes.
  • Contexte et Inférence : Prend en charge une fenêtre de contexte de 1 million de tokens et inclut des couches MTP spéculatives pour une inférence plus rapide ; disponible en variantes BF16 et NVFP4.
  • Déploiement : Offre un support day-0 pour Hugging Face Transformers, SGLang, vLLM et llama.cpp, avec des exigences VRAM de 2 TB pour BF16 et 600 GB pour NVFP4.

Le modèle est destiné à l'adaptation de domaine via le fine-tuning afin de construire des applications de raisonnement multimodal.