Moonshot AI ha lanzado Kimi K3, un modelo de Mezcla de Expertos (MoE) disperso y de código abierto que cuenta con capacidades nativas de visión y una ventana de contexto de 1 millón de tokens. Es el primer modelo abierto en alcanzar la escala de 2.8 billones de parámetros.

  • La arquitectura introduce Kimi Delta Attention (KDA) para una decodificación hasta 6.3x más rápida en contextos largos y Residuos de Atención (AttnRes) para una eficiencia de entrenamiento aproximadamente un 25% mayor.
  • K3 activa solo 16 de los 896 expertos, logrando una eficiencia de escalado general aproximadamente 2.5x mejor que su predecesor, Kimi K2.
  • En benchmarks, K3 lidera Program Bench, SWE Marathon, BrowseComp, Automation Bench y OmniDocBench, mientras queda por detrás de Claude Fable 5 en FrontierSWE y HLE-Full.
  • El modelo es accesible a través del SDK de OpenAI con un precio plano de $0.30/MTok para entrada con coincidencia de caché y $15.00/MTok para salida.

Moonshot indica que K3 está dirigido a la codificación de largo alcance, el trabajo de conocimiento y el razonamiento, ofreciendo una alternativa abierta de alto rendimiento a modelos propietarios como Claude Fable 5 y GPT 5.6 Sol.