문샷 AI가 100만 토큰 컨텍스트를 지원하는 2.8T 파라미터 MoE 모델인 오픈 Kimi K3 출시

문샷 AI는 네이티브 비전 기능과 100만 토큰 컨텍스트 윈도우를 갖춘 오픈 소스 희소 전문가 혼합(MoE) 모델인 Kimi K3를 출시했습니다. 이는 2.8조 파라미터 규모에 도달한 최초의 오픈 모델입니다.

• 아키텍처는 긴 컨텍스트에서 최대 6.3배 빠른 디코딩을 위한 Kimi Delta Attention(KDA)와 약 25% 더 높은 학습 효율성을 위한 Attention Residuals(AttnRes)를 도입했습니다.
• K3는 896개 전문가 중 16개만 활성화하여, 전작인 Kimi K2보다 전체 스케일링 효율성이 약 2.5배 향상되었습니다.
• 벤치마크에서 K3는 Program Bench, SWE Marathon, BrowseComp, Automation Bench, OmniDocBench에서 선두를 차지했으며, FrontierSWE와 HLE-Full에서는 Claude Fable 5에 뒤처졌습니다.
• 이 모델은 OpenAI SDK를 통해 접근 가능하며, 캐시 히트 입력은 $0.30/MTok, 출력은 $15.00/MTok의 정액 요금제를 적용합니다.

문샷은 K3가 장기적 코딩, 지식 작업 및 추론을 목표로 하며, Claude Fable 5와 GPT 5.6 Sol과 같은 독점 모델에 대한 고성능 오픈 대안을 제공한다고 밝혔습니다.