A Moonshot lançou os pesos de seu modelo Kimi K3 no Hugging Face, com 2,8 trilhões de parâmetros e uma arquitetura mixture-of-experts com 16 especialistas ativos por token. A equipe planeja implantar o modelo em GPUs A100, H200 e B300, com resultados de benchmarks esperados esta semana.

  • O Kimi K3 utiliza treinamento consciente de quantização em MXFP4, resultando em aproximadamente 1,4 TB de pesos.
  • A implantação em 8x A100s requer três nós devido a restrições de memória e não possui suporte nativo para FP4.
  • Uma configuração com 8x H200s também requer pelo menos dois nós, incorrendo em custos de interconexão.
  • Apenas a configuração 8x B300 cabe todo o modelo em um único nó com espaço para KV cache.

Os autores fornecerão métricas de tokens por segundo, tempo até o primeiro token e custo para todas as três configurações de GPU até o final da semana.