Команда Qwen компании Alibaba выпустила Qwen3-Coder-480B-A35B-Instruct в июле 2025 года. Это модель типа Mixture-of-Experts с 480 миллиардами параметров, которая активирует только 35 миллиардов параметров за одно выполнение запроса (inference). Она демонстрирует производительность в задачах программирования, сопоставимую с Claude Sonnet 4 и GPT-4, при этом полностью имея открытый исходный код под лицензией Apache 2.0.
- Модель использует 160 экспертных сетей с 62 трансформерными слоями, что позволяет решать автономные многошаговые задачи, включая отладку и просмотр документации.
- Обучение проводилось на 7,5 триллионах токенов с использованием выполнения кода и долгосрочного обучения с подкреплением (reinforcement learning) в 20 000 параллельных средах.
- Имеет нативное контекстное окно на 256 000 токенов, которое можно расширить до 1 миллиона токенов с помощью YaRN.
- Достигла успеха в 55,40% задач на SWE-Bench и поддерживает 358 языков программирования.
Открытый выпуск позволяет неограниченное коммерческое использование и самостоятельное размещение (self-hosting), предлагая инженерным командам альтернативу затратам на проприетарные API.