Kimi k1.5 escala aprendizado por reforço com LLMs para igualar o1 e superar modelos de CoT curto

O LLM multimodal Kimi k1.5 utiliza um framework simplificado de aprendizado por reforço que depende da escalabilidade de contexto longo e otimização aprimorada de políticas, evitando técnicas complexas como busca em árvore de Monte Carlo ou funções de valor.

• O sistema alcança desempenho de raciocínio de ponta em múltiplos benchmarks, incluindo 77.5 no AIME, 96.2 no MATH 500 e percentil 94 no Codeforces.
• Seus métodos long2short aproveitam técnicas de CoT longo para aprimorar modelos de CoT curto, resultando em 60.8 no AIME, 94.6 no MATH500 e 47.3 no LiveCodeBench.
• Essas melhorias em CoT curto superam modelos existentes como GPT-4o e Claude Sonnet 3.5 por uma grande margem, chegando a +550%.

Esta abordagem demonstra que escalar o aprendizado por reforço desbloqueia novos eixos para melhoria da IA sem depender de infraestrutura complexa, igualando o o1 da OpenAI enquanto supera significativamente outros modelos de contexto curto.