문샷은 토큰당 약 104B의 활성 파라미터를 가진 2.8T 파라미터 MoE 모델인 Kimi K3의 전체 세부 사항, 가중치 및 지원 인프라를 출시했습니다. 이번 출시에는 하이브리드 긴 컨텍스트 스택과 MoonEP, FlashKDA, AgentEnv와 같은 새로운 도구에 대한 기술 보고서가 포함되어 있습니다.

  • Kimi K3는 Kimi Delta Attention, Gated MLA, sparse LatentMoE를 사용하여 길이, 깊이 및 너비 전반에 걸쳐 확장되며, 멀티 티처 온-policy 증류를 통해 훈련됩니다.
  • 인프라 구성 요소는 출시의 핵심이며, Dynamo에 대한 NVIDIA의 배포 지원과 FP8-Block Hopper 튜닝 체크포인트를 제공하는 Red Hat AI가 포함됩니다.
  • 비용 분석은 상당한 하드웨어 요구 사항을 나타내며, 최소 구성에는 8x MI355X GPU가 필요하고 프로덕션 서빙에는 고대역폭 도메인에서 64개 이상의 GPU가 필요할 수 있습니다.
  • 오픈 가중치 출시는 Perplexity, Baseten, Together와 같은 제공자들이 자체 호스팅의 높은 비용으로 인해 호스팅 추론 옵션을 제공하면서 빠른 채택을 촉발했습니다.

이번 출시는 프론티어 모델의 오픈 가중치가 이제 상당한 인프라 투자를 필요로 하며, 접근 방식이 단순한 자체 배포보다는 호스팅 제공 방향으로 전환되고 있음을 강조합니다.