Le Thinking Machines Lab de Mira Murati a publié Inkling, son premier modèle multimodal en poids ouverts. Le modèle est un transformateur Mixture-of-Experts avec 975B de paramètres au total et 41B de paramètres actifs, entraîné sur 45 billions de tokens de texte, d'images, d'audio et de vidéo.
- Sous licence Apache-2.0, Inkling est positionné comme un modèle de base solide pour le fine-tuning via la plateforme Tinker du lab plutôt que comme un modèle d'inférence de pointe.
- Une variante plus petite, Inkling-Small (276B au total, 12B actifs), est actuellement en test avec les poids à publier une fois terminé.
- La documentation des données d'entraînement note l'utilisation de contenus du domaine public et de données publiquement disponibles sur l'internet ouvert et auprès de tiers.
Le lancement vise à fournir un concurrent viable basé aux États-Unis pour l'écosystème en poids ouverts, offrant des capacités multimodales et une réflexion efficace pour la personnalisation.