В техническом отчете Qwen2 представлена серия Qwen2 — новый набор базовых и инструкционно-настроенных больших языковых и мультимодальных моделей с количеством параметров от 0,5 до 72 миллиардов. Этот релиз включает как плотные архитектуры, так и модель Mixture-of-Experts; флагманская модель Qwen2-72B демонстрирует конкурентоспособные результаты по сравнению с проприетарными моделями в различных бенчмарках.
- Базовая модель Qwen2-72B достигает результатов 84.2 на MMLU, 37.9 на GPQA, 64.6 на HumanEval, 89.5 на GSM8K и 82.4 на BBH.
- Инструкционно-настроенная модель Qwen2-72B-Instruct набирает 9.1 на MT-Bench, 48.1 на Arena-Hard и 35.7 на LiveCodeBench.
- Модели поддерживают около 30 языков, включая английский, китайский, испанский, французский, немецкий, арабский, русский, корейский, японский, тайский и вьетнамский.
Веса моделей открыто доступны на Hugging Face и ModelScope, а дополнительный код и ресурсы для развертывания предоставлены на GitHub.
Авторы публикуют эти веса для стимулирования инноваций и доступности сообщества, предоставляя ресурсы для квантования, тонкой настройки и развертывания, что способствует широкому спектру приложений и исследовательских задач.