Moonshot AI는 자체 Kimi K2 mixture-of-experts 언어 모델의 모델 카드와 체크포인트를 출시했습니다. 이 모델은 총 1조 개의 파라미터 중 320억 개가 활성화되어 있으며, Muon 최적화기를 사용하여 15.5T 토큰으로 학습되었습니다.

  • Kimi K2는 최전방 지식, 추론 및 코딩 작업을 위해 설계되었으며 에이전트 기능에 대한 특정 최적화가 포함되어 있습니다.
  • bash/에디터 도구를 사용한 SWE-bench Verified 테스트에서 65.8% pass@1, SWE-bench Multilingual 테스트에서 47.3%를 달성했습니다.
  • 이 모델은 도구 호출, 자율 문제 해결 및 이름 필드가 있는 메시지를 지원합니다.
  • 체크포인트는 vLLM, SGLang, KTransformers, TensorRT-LLM과 함께 사용하기 위해 Hugging Face에서 block-fp8 형식으로 제공됩니다.

이번 출시에는 파인튜닝을 위한 기본 모델과 범용 채팅 및 에이전트 경험을 위한 사후 학습된 Kimi-K2-Instruct 변형 버전이 모두 포함되어 있습니다.