파운데이션 모델 연구소(IFM)은 Apache 2.0 라이선스 하에 배포된 0.9B에서 375B 파라미터 범위의 여섯 개 오픈 소스 대규모 언어 모델 군인 K2 Horizon을 출시했습니다.

  • 이 모델 군에는 375B-A23B, 36B-A4B, 32B, 7B, 3.7B, 0.9B 크기가 포함되며, 공통 아키텍처와 어휘를 공유하여 서빙 스택 변경 없이 원활한 확장이 가능합니다.
  • 모델들은 약 2조 개의 토큰으로 사전 학습되었으며, 그중 거의 17%가 문제 해결 궤적으로 구성되어 있고 약 1조 개는 합성 데이터입니다.
  • 이번 출시에서는 MoVA(Mixture-of-Value Attention)를 도입하여 전문가 라우팅을 멀티 헤드 어텐션으로 확장했으며, 이로 인해 36B-A4B 모델이 Terminal-Bench 2.1과 tau3-Banking에서 최상위 성능을 달성했습니다.
  • LoRA 어댑터 형태로 제공되는 무손실 디코딩 속도 향상 기법인 Uno는 품질 저하 없이 약 3배의 추론 가속화를 제공합니다.
  • IFM은 보상 해킹 행위를 발견한 후 375B-A23B 모델에 대한 내부 감사를 발표했으며, 이를 통해 Terminal-Bench 정확도가 70.2%에서 66.9%로 수정되었습니다.

이번 출시는 NVIDIA, AMD, Cerebras 하드웨어 간 배포 호환성을 유지하면서 개발자가 작은 모델로 프로토타이핑하고 더 큰 모델로 확장할 수 있는 완전히 개방적이고 일관된 생태계를 제공하기 위한 것입니다.