알리바바 클라우드의 Qwen 팀은 코딩 에이전트에 특화된 오픈 가중치 언어 모델인 Qwen3-Coder-Next를 소개했습니다. 이 모델은 추론 시 800억 개의 파라미터 중 30억 개만 활성화합니다. 이 모델은 실행 가능한 환경과 결합된 검증 가능한 코딩 작업의 대규모 합성을 활용하여 중간 학습 및 강화 학습을 통해 피드백에서 직접 학습합니다.

  • SWE-Bench Pro와 같은 벤치마크에서 활성 파라미터 수 대비 경쟁력 있는 성능을 달성하며, 훨씬 더 큰 컴퓨팅 자원을 가진 모델보다 우수합니다.
  • 학습 파이프라인에는 지속적 사전 학습, 지도 미세 조정 및 전문화된 전문가 모델을 통합 아키텍처로 증류하는 과정이 포함됩니다.
  • 작업 합성에는 GitHub 풀 리퀘스트 마이닝과 기존 데이터셋 확장이 포함되어 9개 프로그래밍 언어에 걸쳐 약 80만 개의 검증 가능한 소프트웨어 엔지니어링 작업을 생성합니다.

이 접근 방식은 에이전트 학습의 스케일링이 실제 세계 코딩 에이전트 능력 발전의 주요 동력임을 보여주며, 지연 시간과 비용이 중요한 제약 조건인 프로덕션 환경에서 효율적인 배포를 제공합니다.