Qwen 팀은 Qwen2.5 아키텍처에서 파생된 새로운 코드 전용 언어 모델 세트인 Qwen2.5-Coder 시리즈를 소개했습니다. 이 시리즈에는 0.5B에서 32B 파라미터에 이르는 여섯 가지 모델 크기가 포함되어 있으며, 정제된 소스 코드와 합성 데이터 5.5조 토큰 이상으로 학습되었습니다.

  • 이 모델들은 코드 생성, 완성, 추론 및 수리에 대한 10개 이상의 벤치마크에서 최첨단 성능을 달성했습니다.
  • Qwen2.5-Coder-32B-Instruct는 강력한 일반 및 수학 능력을 유지하면서 GPT-4o의 코딩 능력과 맞먹습니다.
  • 아키텍처에는 Fill-in-the-Middle (FIM) 작업 및 저장소 수준 컨텍스트 관리를 지원하기 위한 특수 토큰이 포함되어 있습니다.
  • 이번 릴리즈에는 개발자들의 광범위한 채택을 촉진하기 위한 허용적 라이선스가 포함되었습니다.

저자들은 이러한 오픈소스 모델을 통해 코드 지능 연구를 발전시키고 실제 응용 프로그램을 지원하고자 합니다.