문샷 AI는 총 2.8조 개의 매개변수와 토큰당 1040억 개의 활성화된 매개변수를 갖춘 오픈소스 Mixture-of-Experts 모델을 선보이는 Kimi K3를 소개합니다. 이 아키텍처는 네이티브 비전 기능을 활용하며, Kimi Delta Attention과 Stable LatentMoE를 통해 100만 토큰 컨텍스트 윈도우를 지원합니다.

  • Kimi K3는 전작인 Kimi K2 대비 전체 스케일링 효율성이 약 2.5배 향상되었습니다.
  • 이 모델은 Stable LatentMoE를 사용하여 토큰당 라우팅된 전문가 896명 중 16명만 효과적으로 활성화합니다.
  • 사후 학습에는 여러 추론 노력 수준에 걸쳐 일반, 에이전트 및 코딩 도메인 전반의 강화 학습이 포함됩니다.
  • 광범위한 평가 결과에서 Kimi K3는 장기적 코딩, 에이전트, 지식, 추론 및 비전 작업에서 최첨단 수준의 성능을 보여줍니다.
  • Claude Fable 5와 GPT-5.6 Sol에는 미치지 못하지만, Kimi K3는 평가 스위트에서 다른 오픈 소스 및 독점 모델보다 우수한 성능을 보입니다.

문샷 AI는 향후 연구를 촉진하고 최첨단 지능의 광범위한 배포를 가속화하기 위해 전체 모델 가중치를 출시합니다.