Kimi k1.5 met à l'échelle l'apprentissage par renforcement avec des LLMs pour égaler o1 et battre les modèles short-CoT

Le LLM multimodal Kimi k1.5 utilise un cadre d'apprentissage par renforcement simplifié qui repose sur la mise à l'échelle du contexte long et une optimisation améliorée de la politique, évitant des techniques complexes comme la recherche arborescente de type Monte Carlo ou les fonctions de valeur.

• Le système atteint des performances de raisonnement de pointe sur plusieurs benchmarks, dont 77.5 sur AIME, 96.2 sur MATH 500 et un 94e percentile sur Codeforces.
• Ses méthodes long2short exploitent les techniques long-CoT pour améliorer les modèles short-CoT, obtenant des résultats de 60.8 sur AIME, 94.6 sur MATH500 et 47.3 sur LiveCodeBench.
• Ces améliorations short-CoT surpassent largement les modèles existants tels que GPT-4o et Claude Sonnet 3.5, jusqu'à +550%.

Cette approche démontre que la mise à l'échelle de l'apprentissage par renforcement ouvre de nouveaux axes d'amélioration de l'IA sans dépendre d'une infrastructure complexe, égalant o1 d'OpenAI tout en surpassant significativement les autres modèles à contexte court.