Thinking Machines Lab a publié Inkling, un nouveau modèle Mixture-of-Experts multimodal conçu pour un raisonnement efficace en tokens et une compréhension native des entrées textuelles, image et audio. Together AI met ce modèle à disposition sur sa plateforme d'inférence avec un accès dès le jour zéro.
- Inkling dispose de 975B paramètres au total avec 40B paramètres actifs par token et une fenêtre de contexte de 1M.
- L'architecture utilise l'attention relative conditionnée par la requête, des convolutions causales courtes et un puits d'experts partagé pour une exécution efficace.
- Il prend en charge l'effort d'inférence contrôlable, permettant aux développeurs d'ajuster la profondeur du raisonnement, la latence et l'utilisation des tokens.
- Les évaluations préliminaires montrent de fortes performances dans le raisonnement scientifique, les mathématiques, la programmation et les tâches de prévision.
- Le modèle accepte les entrées textuelles, image et audio via une pile de décodeurs unifiée pour produire des sorties textuelles.
Les développeurs peuvent accéder à Inkling via Together AI Serverless avec des API compatibles OpenAI, permettant la création d'applications multimodales sans gérer l'infrastructure.