この記事は、新しいQwen3モデルのaider多言語ベンチマーク結果を提示し、推論設定とAPIプロバイダーがオープンソースモデルのパフォーマンスにどのように影響するかを強調しています。"diff"および"whole"編集形式を使用して、さまざまな構成に対するパス率を比較しています。

  • VLLM、bfloat16、および/no_think設定でローカル実行されたQwen3-235B-A22Bは、aiderベンチマークで65.3%のパス率を達成しました。
  • 公式Alibaba API経由でアクセスした同じモデルは、より低い61.8%のパス率を示しました。
  • 結果には、各構成に対するテストケース数、コスト、エラー出力などの詳細なメトリクスが含まれています。

データは、オープンソースモデルがプロプライエタリなパフォーマンスレベルに追いつくために、安定した推論設定が重要であることを示しています。