Thinking Machines Lab a publié Inkling, son premier modèle entraîné从零开始 avec des poids ouverts disponibles pour le fine-tuning. Le modèle est un transformateur Mixture-of-Experts comportant 975B paramètres au total et 41B paramètres actifs, prenant en charge une fenêtre de contexte allant jusqu'à 1M tokens.
- Le prétraining a utilisé 45 billions de tokens de données textuelles, images, audio et vidéo.
- Il accepte les entrées textuelles, image et audio mais ne produit que du texte UTF-8.
- L'architecture comprend un transformateur decoder-only à 66 couches avec des couches feed-forward MoE éparses suivant la conception de DeepSeek-V3.
- Inkling propose un effort de réflexion contrôlable, permettant aux utilisateurs d'ajuster les budgets de tokens via des messages système ou des arguments API.
- Il consomme trois fois moins de tokens que Nemotron 3 Ultra pour une performance égale sur Terminal Bench 2.1.
- Une variante plus petite, Inkling-Small (276B total, 12B actifs), est en test et publiera ses poids ultérieurement.
Le modèle offre un coût et une latence ajustables par appel grâce à son mécanisme d'effort contrôlable, se positionnant comme une base pour la personnalisation et les pipelines agentic.