Команда Tencent Hy открыла исходный код Hy4 preview — флагманской модели нового поколения Mixture-of-Experts, состоящей из 770B общих параметров, из которых на каждый токен активируется 49B. Архитектура включает 78 слоёв: первый использует плотную FFN, а остальные 77 применяют MoE с 256 маршрутизируемыми экспертами, а также нативный слой MTP для спекулятивного декодирования.

  • Hy4 preview обучена на данных от инженеров Tencent по программному обеспечению, разработчиков игр и финансовых аналитиков для улучшения задач продуктивности.
  • В слепых сравнительных оценках 203 инженерных задач, проведённых 163 внутренними экспертами, Hy4 preview набрала 2.99, немного опередив GLM 5.3 (2.92) и Kimi K3 (2.94).
  • Модель поддерживает развёртывание через vLLM или SGLang с включённым MTP и включает набор инструментов AngelSlim для сжатия.

Выпуск направлен на расширение границ интеллекта моделей, делая их более доступными и дешёвыми благодаря ранней итерации на основе обратной связи пользователей.