Thinking Machines Lab ha lanzado Inkling, su primer modelo entrenado desde cero con pesos abiertos disponibles para ajuste fino. El modelo es un transformador Mixture-of-Experts que cuenta con 975B parámetros totales y 41B parámetros activos, admitiendo una ventana de contexto de hasta 1M tokens.
- El preentrenamiento utilizó 45 billones de tokens de datos de texto, imágenes, audio y video.
- Acepta entradas de texto, imagen y audio, pero solo genera texto UTF-8.
- La arquitectura incluye un transformador decoder-only de 66 capas con capas feed-forward MoE dispersas siguiendo el diseño de DeepSeek-V3.
- Inkling ofrece esfuerzo de pensamiento controlable, permitiendo a los usuarios ajustar los presupuestos de tokens mediante mensajes del sistema o argumentos de la API.
- Utiliza un tercio de tokens que Nemotron 3 Ultra para obtener un rendimiento equivalente en Terminal Bench 2.1.
- Una variante más pequeña, Inkling-Small (276B total, 12B activos), está en pruebas y liberará sus pesos más adelante.
El modelo ofrece costo y latencia ajustables por llamada a través de su mecanismo de esfuerzo controlable, posicionándose como una base para la personalización y las pipelines agénticas.