Moonshot이 Hugging Face에 Kimi K3 모델의 가중치를 출시했습니다. 이 모델은 2.8조 개의 파라미터와 mixture-of-experts 아키텍처를 갖추고 있으며, 토큰당 16개의 활성 전문가를 사용합니다. 팀은 A100, H200, B300 GPU에서 모델을 배포할 계획이며, 벤치마크 결과는 이번 주에 예상됩니다.

  • Kimi K3는 MXFP4에서 양자화 인식 학습을 사용하여 약 1.4TB의 가중치를 생성합니다.
  • 메모리 제약과 네이티브 FP4 지원 부재로 인해 8x A100에서 배포하려면 3개의 노드가 필요합니다.
  • 8x H200 구성도 최소 2개의 노드가 필요하며, 인터커넥트 비용이 발생합니다.
  • 8x B300 구성만이 KV cache 여유 공간과 함께 단일 노드에 전체 모델을 수용할 수 있습니다.

저자들은 이번 주 말까지 모든 GPU 구성에 대한 초당 토큰 수, 첫 번째 토큰까지의 시간 및 비용 지표를 제공할 예정입니다.