vLLM을 통해 FP8로 실행되고 256K 컨텍스트 창을 가진 Qwen 3.8 27B 모델은 Aider 벤치마크에서 72.9점을 달성했습니다.
- 이 점수는 Gemini 2.5 Pro(72.9)와 동일하며 Claude Opus 4(72.0) 및 DeepSeek R1(71.4)를 능가합니다.
- 저자는 벤치마크가 오래되었을 수 있지만, MacBook에서의 모델 성능이 1년 이상 된 state-of-the-art 모델들과 비교 가능하다고 지적했습니다.
- 테스트 허니의 개선으로 인해 실제 성능은 이러한 모델들을 초과한다고 설명됩니다.