Moonshot AI는 에이전트 작업에서 독점 LLM을 능가하도록 설계된 트리리언 파라미터 추론 모델인 오픈 웨이트 Kimi K2 Thinking과 Kimi K2 Thinking Turbo를 출시했습니다. 이 모델들은 추론 단계를 교차시키며 수백 번의 도구 호출을 순차적으로 실행하여 중간 결과에 따라 계획을 조정할 수 있습니다.
- 아키텍처: 총 1조 파라미터, 토큰당 320억 개의 활성화된 파라미터를 가진 Mixture-of-experts 트랜스포머.
- 성능: τ²-Bench Telecom 에이전트 벤치마크(93% 정확도)와 도구가 활성화된 Humanity's Last Exam(44.9%)에서 최상위 결과를 달성.
- 효율성: INT4 정밀도로 파인튜닝되어 파일 크기가 594 GB로 줄어들고 전체 정밀도 대비 출력 속도가 두 배가 되었습니다.
- 가용성: 수정된 MIT 라이선스 하에 비상업적 및 상업적 용도로 월간 활성 사용자 1억 명 또는 월간 수익 2000만 달러까지 가중치가 제공됩니다.
에이전트 애플리케이션은 인간의 개입 없이 여러 도구 호출에 걸쳐 추론할 수 있는 모델의 능력으로부터 혜택을 받으며, INT4 정밀도는 더 저렴한 하드웨어에서의 배포를 가능하게 합니다.