Moonshot выложила веса своей модели Kimi K3 на Hugging Face. Модель имеет 2,8 триллиона параметров и архитектуру mixture-of-experts с 16 активными экспертами на токен. Команда планирует развернуть модель на GPU A100, H200 и B300, результаты бенчмарков ожидаются на этой неделе.

  • Kimi K3 использует обучение с учетом квантования в MXFP4, что приводит к весам объемом около 1,4 ТБ.
  • Развертывание на 8x A100 требует трех узлов из-за ограничений памяти и не имеет нативной поддержки FP4.
  • Конфигурация с 8x H200 также требует как минимум двух узлов, что влечет за собой затраты на межсоединение.
  • Только конфигурация 8x B300 позволяет разместить всю модель в одном узле с запасом для KV cache.

Авторы предоставят метрики токенов в секунду, времени до первого токена и стоимости для всех трех конфигураций GPU к концу недели.