Thinking Machines Lab ha lanzado Inkling, un nuevo modelo de mezcla de expertos multimodal diseñado para el razonamiento eficiente en tokens y la comprensión nativa de entradas de texto, imagen y audio. Together AI está poniendo el modelo disponible en su plataforma de inferencia con acceso desde el día cero.
- Inkling cuenta con 975B parámetros totales con 40B parámetros activos por token y una ventana de contexto de 1M.
- La arquitectura utiliza atención relativa condicionada por consulta, convoluciones causales cortas y un sumidero de expertos compartido para una ejecución eficiente.
- Soporta esfuerzo de inferencia controlable, permitiendo a los desarrolladores ajustar la profundidad del razonamiento, la latencia y el uso de tokens.
- Las evaluaciones preliminares muestran un rendimiento sólido en razonamiento científico, matemáticas, codificación y tareas de pronóstico.
- El modelo acepta entradas de texto, imagen y audio a través de una pila de decodificadores unificada para producir salidas de texto.
Los desarrolladores pueden acceder a Inkling a través de Together AI Serverless con APIs compatibles con OpenAI, lo que permite la creación de aplicaciones multimodales sin gestionar infraestructura.