A Thinking Machines lançou o Inkling, um grande modelo de linguagem multimodal de código aberto disponível no Hugging Face que processa nativamente entradas de texto, imagem e áudio. O modelo possui aproximadamente 1 trilhão de parâmetros totais com 41 bilhões de parâmetros ativos, treinado em 45 trilhões de tokens para suportar raciocínio entre modalidades.

  • Arquitetura: Um modelo Mixture-of-Experts (MoE) apenas de decodificador com 256 especialistas, utilizando atenção relativa, atenção híbrida global/janela deslizante e convoluções 1D curtas.
  • Contexto e Inferência: Suporta uma janela de contexto de 1 milhão de tokens e inclui camadas especulativas MTP para inferência mais rápida; disponível nas variantes BF16 e NVFP4.
  • Implantação: Oferece suporte no dia 0 para Hugging Face Transformers, SGLang, vLLM e llama.cpp, com requisitos de VRAM de 2 TB para BF16 e 600 GB para NVFP4.

O modelo é destinado à adaptação de domínio por meio de ajuste fino para construir aplicações de raciocínio multimodal.