O Thinking Machines Lab lançou o Inkling, seu primeiro modelo treinado do zero com pesos abertos disponíveis para ajuste fino. O modelo é um transformador Mixture-of-Experts com 975B de parâmetros totais e 41B de parâmetros ativos, suportando uma janela de contexto de até 1M de tokens.
- O pré-treinamento utilizou 45 trilhões de tokens de dados de texto, imagens, áudio e vídeo.
- Ele aceita entradas de texto, imagem e áudio, mas gera apenas texto UTF-8.
- A arquitetura inclui um transformador decoder-only de 66 camadas com camadas feed-forward MoE esparsas seguindo o design do DeepSeek-V3.
- O Inkling possui esforço de raciocínio controlável, permitindo que os usuários ajustem orçamentos de tokens por meio de mensagens de sistema ou argumentos da API.
- Ele utiliza um terço dos tokens gastos pelo Nemotron 3 Ultra para obter desempenho equivalente no Terminal Bench 2.1.
- Uma variante menor, Inkling-Small (276B totais, 12B ativos), está em teste e lançará seus pesos posteriormente.
O modelo oferece custo e latência ajustáveis por chamada por meio de seu mecanismo de esforço controlável, posicionando-se como uma base para personalização e pipelines agênticos.