vLLM を介して FP8 で実行され、256K のコンテキストウィンドウを持つ Qwen 3.8 27B モデルは、Aider ベンチマークで 72.9 のスコアを達成しました。

  • このスコアは Gemini 2.5 Pro（72.9）と同等であり、Claude Opus 4（72.0）や DeepSeek R1（71.4）を上回っています。
  • 著者は、ベンチマークが古くなっている可能性はあるものの、MacBook でのモデルのパフォーマンスは1年以上前の state-of-the-art モデルと比較可能であると指摘しています。
  • テストハーネスの改善により、実際のパフォーマンスはこれらのモデルを超えていると説明されています。