Tencent выпустила Hy3, новую большую языковую модель под лицензией Apache 2.0, разработанную командой Tencent Hy. Модель имеет 295 миллиардов общих параметров и 21 миллиард активных параметров, а также поддерживает длину контекста 256K.

  • Hy3 использует архитектуру Mixture-of-Experts с параметрами слоя MTP на уровне 3.8B.
  • Она превосходит модели аналогичного размера и соперничает с флагманскими моделями с открытым исходным кодом, требующими в 2-5 раз больше параметров.
  • Полноразмерная модель доступна для загрузки объемом 598GB, а версия с квантованием FP8 составляет 300GB.
  • Tencent расширила постобучение, используя данные более высокого качества, после получения отзывов от более чем 50 продуктов.

Выпуск демонстрирует значительный рост полезности в различных задачах продуктивности.