Moonshot опубликовала полные детали, веса и сопутствующую инфраструктуру для Kimi K3 — модели Mixture-of-Experts на 2.8T параметров с примерно 104B активных параметров на токен. В релиз вошли технические отчеты, описывающие её гибридный стек длинного контекста, и новые инструменты, такие как MoonEP, FlashKDA и AgentEnv.

  • Kimi K3 масштабируется по длине, глубине и ширине с использованием Kimi Delta Attention, Gated MLA и разреженного LatentMoE, обучаясь через многоучительскую дистилляцию on-policy.
  • Компоненты инфраструктуры играют центральную роль в релизе: поддержка развертывания обеспечивается NVIDIA для Dynamo, а Red Hat AI предоставляет контрольные точки FP8-Block Hopper-tuned.
  • Анализ затрат указывает на значительные требования к оборудованию: минимальная конфигурация требует 8x GPU MI355X, а производство может потребовать 64+ GPU в домене с высокой пропускной способностью.
  • Публикация весов с открытым доступом вызвала быстрое внедрение со стороны провайдеров, таких как Perplexity, Baseten и Together, которые предлагают хостинговые варианты вывода из-за высокой стоимости самостоятельного развертывания.

Релиз подчеркивает, что для моделей уровня frontier теперь требуются значительные инвестиции в инфраструктуру, смещая доступ к хостинговым решениям вместо простого самостоятельного развертывания.