Kimi k1.5マルチモーダルLLMは、モンテカルロ木探索や価値関数といった複雑な手法を避け、長期コンテキストのスケーリングと改善された方策最適化に依存する簡素化された強化学習フレームワークを使用します。

  • このシステムは、AIMEで77.5、MATH 500で96.2、Codeforcesで上位94パーセンタイルなど、複数のベンチマークで最先端の推論パフォーマンスを達成しています。
  • そのlong2short手法は長CoT技法を活用して短CoTモデルを強化し、AIMEで60.8、MATH500で94.6、LiveCodeBenchで47.3という結果をもたらします。
  • これらの短CoTの改善点は、GPT-4oやClaude Sonnet 3.5といった既存モデルを大幅に上回り、最大+550%の差をつけています。

このアプローチは、複雑なインフラストラクチャに依存することなく強化学習のスケーリングがAIの改善における新たな軸を開くことを示しており、OpenAIのo1と同等の性能を実現しつつ、他の短コンテキストモデルを大きく上回っています。