A Moonshot divulgou os detalhes completos, os pesos e a infraestrutura de suporte para o Kimi K3, um modelo Mixture-of-Experts com 2.8T de parâmetros e aproximadamente 104B de parâmetros ativos por token. O lançamento inclui relatórios técnicos detalhando sua pilha híbrida de contexto longo e novas ferramentas como MoonEP, FlashKDA e AgentEnv.

  • Kimi K3 escala em comprimento, profundidade e largura usando Kimi Delta Attention, Gated MLA e sparse LatentMoE, treinado via distilação on-policy multi-professor.
  • Os componentes de infraestrutura são centrais no lançamento, com suporte de implantação da NVIDIA para Dynamo e Red Hat AI fornecendo checkpoints ajustados para FP8-Block Hopper.
  • A análise de custos indica requisitos significativos de hardware, com configurações mínimas exigindo 8x GPUs MI355X e o serviço em produção potencialmente necessitando de 64+ GPUs em um domínio de alta largura de banda.
  • O lançamento de pesos abertos levou à adoção rápida por provedores como Perplexity, Baseten e Together, que estão oferecendo opções de inferência hospedada devido ao alto custo da autoimplantação.

O lançamento destaca que os pesos abertos para modelos de fronteira agora exigem um investimento substancial em infraestrutura, deslocando o acesso para ofertas hospedadas em vez de simples autoimplantação.