Технический отчет Qwen3 представляет новую серию больших языковых моделей с открытыми весами, включающую модели от 0.6 до 235 миллиардов параметров, как плотные, так и архитектуры Mixture-of-Experts. Ключевым нововведением является интеграция «режима рассуждений» для сложного логического вывода и «режима без рассуждений» для быстрых ответов в единую систему, что позволяет динамически переключаться между ними без замены модели.

  • Флагманская модель Qwen3-235B-A22B использует 22 миллиарда активных параметров на токен для баланса между производительностью и эффективностью вывода.
  • Поддержка многоязычности расширяется с 29 до 119 языков и диалектов, обучение проводилось на 36 триллионах токенов, включая синтетические данные, сгенерированные предыдущими моделями Qwen.
  • Серия реализует механизм «бюджета рассуждений» для адаптивного распределения вычислительных ресурсов во время вывода.
  • Постобучение использует многоэтапное обучение с подкреплением и дистилляцию от сильных к слабым моделям для согласования моделей с предпочтениями людей.

Авторы считают эти достижения важными, поскольку они обеспечивают конкурентоспособную производительность по сравнению с проприетарными моделями, предоставляя пользователям тонкий контроль над усилиями на логический вывод и задержку.