IFM은 Mixture-of-Values 어텐션을 특징으로 하며 36B의 파라미터를 저장하지만 토큰당 4B만 실행하는 Mixture-of-Experts 모델인 K2-Horizon-MoVA-36B-A4B의 최종 체크포인트를 출시했습니다. 이번 릴리스에는 GGUF 형식과 K2-Horizon 패밀리 내 더 작은 변형체에 대한 링크가 포함되어 있습니다.

  • 에이전트 및 추론 벤치마크에서 프론티어 클래스 결과를 달성하여 약 30B 크기의 오픈 밀집 모델과 그 크기의 최대 15배인 MoE 모델을 능가합니다.
  • 중간 학습 단계부터 네이티브 524,288 토큰 컨텍스트 윈도우를 지원합니다.
  • IFM은 완전한 개방성을 보장하기 위해 중간 체크포인트, 훈련 데이터, 레시피 및 코드를 출시할 예정입니다.

이 모델은 더 큰 밀집 모델에 대한 고효율 대안으로 포지셔닝되며 폐쇄된 프론티어 시스템에 대해 경쟁력 있는 성능을 유지합니다.