O Thinking Machines Lab de Mira Murati lançou o Inkling, seu primeiro modelo multimodal com pesos abertos. O modelo é um transformer Mixture-of-Experts com 975B parâmetros totais e 41B parâmetros ativos, treinado em 45 trilhões de tokens de texto, imagens, áudio e vídeo.
- Licenciado sob Apache-2.0, o Inkling é posicionado como um modelo base forte para ajuste fino através da plataforma Tinker do laboratório, em vez de um modelo de inferência de fronteira.
- Uma variante menor, Inkling-Small (276B total, 12B ativos), está atualmente em teste com pesos a serem liberados após a conclusão.
- A documentação dos dados de treinamento nota o uso de conteúdo de domínio público e dados publicamente disponíveis da internet aberta e terceiros.
O lançamento visa fornecer um concorrente viável baseado nos EUA para o ecossistema de pesos abertos, oferecendo capacidades multimodais e pensamento eficiente para personalização.