Moonshot AI выпустила Kimi K3, открытую разреженную модель Mixture-of-Experts (MoE) с нативной поддержкой зрения и контекстным окном на 1 миллион токенов. Это первая открытая модель, достигшая масштаба в 2,8 триллиона параметров.
- Архитектура включает Kimi Delta Attention (KDA) для ускорения декодирования до 6,3 раз в длинных контекстах и Attention Residuals (AttnRes) для повышения эффективности обучения примерно на 25%.
- K3 активирует только 16 из 896 экспертов, обеспечивая общую эффективность масштабирования примерно в 2,5 раза лучше, чем у её предшественника Kimi K2.
- В бенчмарках K3 лидирует в Program Bench, SWE Marathon, BrowseComp, Automation Bench и OmniDocBench, но уступает Claude Fable 5 в FrontierSWE и HLE-Full.
- Модель доступна через OpenAI SDK с фиксированной ценой $0,30 за MTok для ввода с попаданием в кэш и $15,00 за MTok для вывода.
Moonshot заявляет, что K3 ориентирована на долгосрочное программирование, работу с знаниями и рассуждения, предлагая высокопроизводительную открытую альтернативу проприетарным моделям, таким как Claude Fable 5 и GPT 5.6 Sol.