Исследователи представляют Kimi K2, большую языковую модель архитектуры Mixture-of-Experts с 32 миллиардами активируемых параметров из общего числа в один триллион. Модель использует новый оптимизатор MuonClip для решения проблемы нестабильности обучения при сохранении эффективности токенизации во время предварительного обучения на 15,5 триллионах токенов.
- Kimi K2 демонстрирует лучшие результаты среди открытых моделей без режима «размышления», набрав 66,1 балла на Tau2-Bench и 76,5 балла на ACEBench (En).
- Она достигает результата 65,8 на SWE-Bench Verified и 47,3 на SWE-Bench Multilingual, превосходя большинство открытых и закрытых базовых моделей в режимах без «размышления».
- Модель демонстрирует сильные способности к программированию и рассуждению с оценками 53,7 на LiveCodeBench v6, 49,5 на AIME 2025 и 75,1 на GPQA-Diamond.
- Постобучение включает многоэтапный процесс, включающий синтез агентных данных в больших масштабах и совместное обучение с подкреплением для улучшения агентных способностей.
Выпуск базовых контрольных точек и точек после обучения призван облегчить будущие исследования и применение агентного интеллекта.