Moonshot AI представила Kimi K3 — модель Mixture-of-Experts с открытым исходным кодом, имеющую 2,8 триллиона общих параметров и 104 миллиарда активных параметров на токен. Модель поддерживает нативные возможности работы с визуальными данными и контекстное окно в миллион токенов, используя Kimi Delta Attention и Stable LatentMoE для достижения примерно 2,5-кратной эффективности масштабирования по сравнению с предыдущей версией Kimi K2.

  • Kimi K3 использует Kimi Delta Attention и Attention Residuals для улучшения потока информации через длину последовательности и глубину модели.
  • Stable LatentMoE эффективно активирует 16 из 896 маршрутизируемых экспертов на токен.
  • Постобучение включает обучение с подкреплением в общих, агентных и кодинговых областях с несколькими уровнями усилий на рассуждение.
  • Модель демонстрирует производительность на передовом уровне в задачах долгосрочного кодинга, агентных, знаний, рассуждений и визуального анализа.
  • Уступая Claude Fable 5 и GPT-5.6 Sol, она превосходит другие оцененные открытые и проприетарные модели.

Moonshot AI публикует полные веса модели Kimi K3 для содействия будущим исследованиям и ускорения более широкого развертывания передового интеллекта.