Alibaba выпустила технический отчёт по Qwen2.5, представляющий комплексную серию больших языковых моделей со значительными улучшениями как на этапах предварительного обучения, так и последующей настройки. Обновление масштабирует высококачественные датасеты для предварительного обучения с 7 триллионов до 18 триллионов токенов и внедряет сложное контролируемое дообучение более чем на 1 миллионе примеров вместе с многоэтапным обучением с подкреплением.

  • Открытые модели включают базовые версии и модели, настроенные по инструкциям, с доступными квантованными вариантами.
  • Закрытые хостинговые решения предлагают два варианта смеси экспертов: Qwen2.5-Turbo и Qwen2.5-Plus.
  • Флагманская модель Qwen2.5-72B-Instruct превосходит многие открытые и закрытые модели, демонстрируя конкурентоспособные результаты по сравнению с Llama-3-405B-Instruct.
  • Qwen2.5-Turbo и Qwen2.5-Plus обеспечивают превосходную экономическую эффективность при конкурентоспособной производительности по сравнению с GPT-4o-mini и GPT-4o соответственно.

Эти улучшения создают прочную основу для здравого смысла, экспертных знаний и способностей к рассуждению, в то время как техники последующей настройки заметно улучшают генерацию длинных текстов, анализ структурированных данных и выполнение инструкций.