텐센트 Hy 팀은 총 770B의 파라미터를 가지며 토큰당 49B가 활성화되는 새로운 세대의 Mixture-of-Experts 플래그십 모델인 Hy4 프리뷰를 오픈소스로 공개했습니다. 이 아키텍처는 첫 레이어가 밀집 FFN을 사용하고 나머지 77개 레이어가 256개의 라우팅된 전문가와 함께 MoE를 사용하며, 추론 디코딩을 위한 네이티브 MTP 레이어를 갖추고 있습니다.

  • Hy4 프리뷰는 생산성 작업을 개선하기 위해 텐센트 소프트웨어 엔지니어, 게임 개발자 및 금융 분석가의 데이터로 학습되었습니다.
  • 163명의 내부 전문가가 수행한 203개의 엔지니어링 작업에 대한 블라인드 병렬 평가에서 Hy4 프리뷰는 2.99점을 받아 GLM 5.3(2.92)과 Kimi K3(2.94)보다 약간 앞섰습니다.
  • 이 모델은 MTP가 활성화된 vLLM 또는 SGLang를 통해 배포할 수 있으며, 압축을 위한 AngelSlim 툴킷을 포함합니다.

이번 출시의 목적은 사용자 피드백을 기반으로 한 초기 반복을 통해 모델 지능의 한계를 넓히고 이를 더 풍부하고 저렴하게 만드는 것입니다.