Thinking Machines Lab a lancé Inkling, sa première famille de modèles fondamentaux entièrement publiée en poids ouverts. Présenté comme un modèle de base multimodale personnalisable plutôt que comme un modèle phare optimisé pour les benchmarks, Inkling prend en charge les entrées textuelles, image et audio avec une multimodalité native.

  • Inkling est un modèle Mixture-of-Experts de 975B paramètres avec 41B paramètres actifs par token, sous licence Apache 2.0.
  • Le modèle a été entraîné à partir de zéro sur environ 45T tokens et prend en charge une longueur de contexte allant jusqu'à 1M dans les checkpoints en poids ouverts.
  • Les fonctionnalités architecturales incluent l'attention hybride à fenêtre glissante, l'encodage positionnel relatif, des couches de convolution courtes et les optimiseurs Muon/AdamC.
  • Inkling fait ses débuts avec un score de 41 sur l'Intelligence Index, devançant les publications américaines en poids ouverts Nemotron 3 Ultra et Gemma 4.

La publication offre un support immédiat pour le fine-tuning via Tinker et une large compatibilité écosystémique avec des outils comme vLLM et Hugging Face.