Tencent은 Tencent Hy 팀이 개발한 새로운 Apache 2.0 라이선스 대규모 언어 모델인 Hy3를 출시했습니다. 이 모델은 총 2950억 개의 파라미터와 210억 개의 활성 파라미터를 가지며 256K의 컨텍스트 길이를 지원합니다.

  • Hy3는 3.8B MTP 레이어 파라미터를 가진 Mixture-of-Experts 아키텍처를 활용합니다.
  • 유사한 크기의 모델을 능가하며 2~5배 더 많은 파라미터가 필요한 플래그십 오픈소스 모델에 맞먹습니다.
  • 풀사이즈 모델은 598GB 다운로드 버전으로 제공되며, FP8 양자화 버전은 300GB입니다.
  • Tencent는 50개 이상의 제품으로부터의 피드백을 바탕으로 고품질 데이터를 사용하여 사후 학습(Post-training)을 확장했습니다.

이번 출시를 통해 다양한 생산성 작업에서 상당한 유용성 향상이 입증되었습니다.