Qwen выпускает модели Qwen2.5 с расширенным набором данных и улучшенными возможностями в области программирования и математики

Alibaba Cloud открыла исходный код серии декодерных плотных языковых моделей Qwen2.5, добавив три новых размера (3B, 14B и 32B) к существующей линейке, которая варьируется от 0.5B до 72B параметров. Это обновление расширяет набор данных для предварительного обучения с 7 триллионов до 18 триллионов токенов и интегрирует технические достижения из Qwen2.5-Coder и Qwen-math, чтобы значительно улучшить производительность в программировании, математике и общих знаниях.

• Модель Qwen2.5-32B превосходит Qwen2-72B, а Qwen2.5-14B опережает Qwen2-57B-A14B во всесторонних оценках.
• Улучшение знаний заметно на бенчмарках MMLU: оценки Qwen2.5-7B/72B выросли с 70.3 до 74.2 и с 84.2 до 86.1 соответственно.
• Возможности программирования значительно улучшились: Qwen2.5-72B-Instruct набрал 55.5 на LiveCodeBench и 88.2 на MBPP.
• Математические способности существенно возросли: оценки бенчмарка MATH для Qwen2.5-7B/72B-Instruct увеличились с 52.9/69.0 до 75.5/83.1.
• Выравнивание по человеческим предпочтениям улучшилось: оценки Arena-Hard для Qwen2.5-72B-Instruct выросли с 48.1 до 81.2.
• Поддержка длины контекста расширена до 128K токенов, и большинство моделей лицензированы по Apache 2.0.

Выпуск отвечает на запрос пользователей в отношении экономически эффективных производственных моделей диапазона 10-30B и мобильных оптимизированных моделей 3B, предлагая высококонкурентные альтернативы с открытым исходным кодом, которые соответствуют или превосходят более крупные проприетарные системы.