이 기사는 새로운 Qwen3 모델에 대한 aider 다국어 벤치마크 결과를 제시하며, 추론 설정과 API 제공업체가 오픈 소스 모델 성능에 미치는 영향을 강조합니다. "diff"와 "whole" 편집 형식을 사용하여 다양한 구성에 대한 통과율을 비교합니다.

  • VLLM, bfloat16 및 /no_think 설정으로 로컬에서 실행된 Qwen3-235B-A22B는 aider 벤치마크에서 65.3%의 통과율을 달성했습니다.
  • 공식 Alibaba API를 통해 접근한 동일한 모델은 61.8%의 더 낮은 통과율을 보였습니다.
  • 결과에는 각 구성에 대한 테스트 케이스 수, 비용 및 오류 출력과 같은 상세 메트릭이 포함됩니다.

데이터는 오픈 소스 모델이 독점 성능 수준에 도달하기 위해 안정적인 추론 설정이 중요함을 보여줍니다.