arxiv Moonshot AI (arXiv) · 755 д назад

Команда Qwen выпустила серию Qwen2 с моделями на 72B (плотными и MoE)

Переведено с English → Русский

Команда Qwen опубликовала технический отчет по Qwen2, представляющий новую серию больших языковых моделей с количеством параметров от 0,5 до 72 миллиардов, включающую как плотные архитектуры, так и Mixture-of-Experts (MoE).

Флагманская базовая модель Qwen2-72B демонстрирует результаты 84,2 на MMLU, 89,5 на GSM8K и 64,6 на HumanEval.
Модификация Qwen2-72B-Instruct, дообученная для инструкций, достигает 9,1 на MT-Bench и 35,7 на LiveCodeBench.
Модели обучены на более чем 7 триллионах токенов и поддерживают около 30 языков.
Веса открыто доступны на Hugging Face и ModelScope для использования сообществом.

Цель выпуска — предоставить высокопроизводительные базовые модели, способные конкурировать с проприетарными системами, оставаясь при этом доступными для исследований и развёртывания.

Важность 3/3 Moonshot AI (arXiv) Alibaba (Qwen) Open weights Research paper

Бенчмарки

Бенчмарк	Модель	Результат
GPQA Diamond	Qwen2-72B	37.9%
LiveCodeBench	Qwen2-72B-Instruct	35.7%
GSM8K	Qwen2-72B	89.5%
MMLU	Qwen2-72B	84.2%
BIG-Bench Hard	Qwen2-72B	82.4%
HumanEval	Qwen2-72B	64.6%

Оригинал

Похожие статьи

media r/LocalLLaMA · 42 д назад · 1 просмотр

Голова диффузии Orthrus, обученная на Qwen 3.5/3.6 и Gemma 4, скоро выйдет

Проект Orthrus готовится выпустить поддержку моделей Qwen 3.5, Qwen 3.6 и Gemma 4 с использованием подхода диффузионной головы. Команда завершила тестирование и в настоящее время настраивает конвейер выпуска.

arxiv Moonshot AI (arXiv) · 452 д назад

Qwen3 представляет единый режим рассуждений и расширяет поддержку многоязычности до 119 языков

Технический отчет Qwen3 описывает последнюю версию семейства моделей Qwen, включающую плотные архитектуры и архитектуру Mixture-of-Expert (MoE) с количеством параметров от 0,6 до 235 миллиардов. Ключевым нововведением является интеграция режима рассуждений для сложного логического вывода и режима без рассуждений для быстрых ответов в единую структуру, что устраняет необходимость переключения между различными моделями.

arxiv Moonshot AI (arXiv) · 452 д назад · 2 просмотра

Qwen3 представляет единый режим рассуждений и поддержку 119 языков

Технический отчет Qwen3 представляет новую серию больших языковых моделей с открытыми весами, включающую модели от 0.6 до 235 миллиардов параметров, как плотные, так и архитектуры Mixture-of-Experts. Ключевым нововведением является интеграция «режима рассуждений» для сложного логического вывода и «режима без рассуждений» для быстрых ответов в единую систему, что позволяет динамически переключаться между ними без замены модели.

arxiv Moonshot AI (arXiv) · 598 д назад

Qwen2.5 представляет плотные и MoE-модели с 18 триллионами токенов предобучения

Технический отчет Qwen2.5 описывает выпуск комплексной серии больших языковых моделей, включающей как открытые плотные варианты, так и проприетарные модели смеси экспертов (MoE). Обновление значительно увеличивает объем данных для предобучения с 7 триллионов до 18 триллионов токенов и использует более миллиона образцов для постобучения посредством контролируемой тонкой настройки и обучения с подкреплением.

arxiv Moonshot AI (arXiv) · 598 д назад

Qwen2.5 масштабирует предварительное обучение до 18 триллионов токенов и использует многоэтапное RL

Alibaba выпустила технический отчёт по Qwen2.5, представляющий комплексную серию больших языковых моделей со значительными улучшениями как на этапах предварительного обучения, так и последующей настройки. Обновление масштабирует высококачественные датасеты для предварительного обучения с 7 триллионов до 18 триллионов токенов и внедряет сложное контролируемое дообучение более чем на 1 миллионе примеров вместе с многоэтапным обучением с подкреплением.