Kimi k1.5 escala el aprendizaje por refuerzo con LLMs para igualar a o1 y superar a los modelos de CoT corto

El LLM multimodal Kimi k1.5 utiliza un marco simplificado de aprendizaje por refuerzo que se basa en la escalabilidad del contexto largo y una optimización mejorada de la política, evitando técnicas complejas como la búsqueda en árbol de Monte Carlo o las funciones de valor.

• El sistema alcanza un rendimiento de razonamiento de última generación en múltiples benchmarks, incluyendo 77.5 en AIME, 96.2 en MATH 500 y el percentil 94 en Codeforces.
• Sus métodos long2short aprovechan las técnicas de CoT largo para mejorar los modelos de CoT corto, obteniendo resultados de 60.8 en AIME, 94.6 en MATH500 y 47.3 en LiveCodeBench.
• Estas mejoras en CoT corto superan a modelos existentes como GPT-4o y Claude Sonnet 3.5 por un amplio margen, hasta +550%.

Este enfoque demuestra que escalar el aprendizaje por refuerzo desbloquea nuevos ejes para la mejora de la IA sin depender de infraestructura compleja, igualando a o1 de OpenAI mientras supera significativamente a otros modelos de contexto corto.