Moonshot은 Kimi K2 Thinking 모델 카드를 공개하여, 단계별로 추론하고 동적으로 도구를 호출하는 오픈소스 사고 에이전트로서의 능력을 상세히 설명했습니다. 이 모델은 다단계 추론 깊이를 확장함으로써 Humanity's Last Exam (HLE) 및 BrowseComp 등의 벤치마크에서 새로운 최고 기록을 달성했습니다.

  • Kimi K2 Thinking은 256k 컨텍스트 창을 갖춘 네이티브 INT4 양자화 모델로, 추론 지연 시간과 GPU 메모리 사용량을 무손실 감소시킵니다.
  • Quantization-Aware Training을 활용하여 저지연 모드에서 2배의 속도 향상을 달성하면서도 200–300개의 연속 호출에 걸쳐 안정적인 도구 사용을 유지합니다.
  • 이 모델은 장기적인 목표 지향적 행동을 보여주며, 30–50단계 이후 성능이 저하되는 기존 모델을 능가합니다.

이번 출시에서는 Transformers와 같은 라이브러리 및 vLLM 및 SGLang과 같은 추론 제공자와 함께 모델을 사용하는 방법에 대한 지침을 제공합니다.