알리바바의 Qwen 팀은 2025년 7월 추론 시 350억 파라미터만 활성화되는 4800억 파라미터 Mixture-of-Experts 모델인 'Qwen3-Coder-480B-A35B-Instruct'를 출시했습니다. 이 모델은 Apache 2.0 라이선스 하에 완전히 오픈소스이며, Claude Sonnet 4 및 GPT-4와 비교 가능한 코딩 성능을 달성합니다.

  • 62개의 Transformer 레이어를 가진 160개 전문가 네트워크를 활용하여 디버깅 및 문서 탐색을 포함한 자율적 다단계 문제 해결을 가능하게 합니다.
  • 20,000개의 병렬 환경에서 실행 기반 및 장기 지평 강화 학습을 사용하여 7.5조 토큰으로 훈련되었습니다.
  • 기본 256,000토큰 컨텍스트 창을 제공하며 YaRN을 통해 100만 토큰까지 확장 가능합니다.
  • SWE-Bench에서 55.40%의 성공률을 달성했으며 358개의 프로그래밍 언어를 지원합니다.

이 오픈 릴리스는 상업적 사용과 자체 호스팅을 제한 없이 허용하여 엔지니어링 팀에게 독점 API 비용에 대한 대안을 제공합니다.