A Thinking Machines Lab lançou o Inkling, um novo modelo de mistura de especialistas multimodal projetado para raciocínio eficiente em tokens e compreensão nativa de entradas de texto, imagem e áudio. A Together AI está disponibilizando o modelo em sua plataforma de inferência com acesso desde o dia zero.
- O Inkling possui 975B parâmetros totais com 40B parâmetros ativos por token e uma janela de contexto de 1M.
- A arquitetura utiliza atenção relativa condicionada à consulta, convoluções causais curtas e um poço de especialistas compartilhado para execução eficiente.
- Suporta esforço de inferência controlável, permitindo que desenvolvedores ajustem a profundidade do raciocínio, latência e uso de tokens.
- Avaliações preliminares mostram desempenho forte em raciocínio científico, matemática, codificação e tarefas de previsão.
- O modelo aceita entradas de texto, imagem e áudio através de uma pilha de decodificadores unificada para produzir saídas de texto.
Desenvolvedores podem acessar o Inkling via Together AI Serverless com APIs compatíveis com OpenAI, permitindo a criação de aplicações multimodais sem gerenciar infraestrutura.