Thinking Machines ha lanzado Inkling, un gran modelo de lenguaje multimodal de código abierto disponible en Hugging Face que procesa nativamente entradas de texto, imagen y audio. El modelo cuenta con aproximadamente 1 billón de parámetros totales y 41 mil millones de parámetros activos, entrenado con 45 billones de tokens para apoyar el razonamiento entre modalidades.

  • Arquitectura: Un modelo Mixture-of-Experts (MoE) solo de decodificador con 256 expertos, que utiliza atención relativa, atención híbrida global/ventana deslizante y convoluciones 1D cortas.
  • Contexto e inferencia: Soporta una ventana de contexto de 1 millón de tokens e incluye capas especulativas MTP para una inferencia más rápida; disponible en variantes BF16 y NVFP4.
  • Despliegue: Ofrece soporte desde el día 0 para Hugging Face Transformers, SGLang, vLLM y llama.cpp, con requisitos de VRAM de 2 TB para BF16 y 600 GB para NVFP4.

El modelo está destinado a la adaptación de dominio mediante ajuste fino para construir aplicaciones de razonamiento multimodal.