Hasil benchmark Qwen3 menunjukkan kinerja pemrograman di berbagai penyedia

Artikel ini menyajikan hasil benchmark polyglot aider untuk model Qwen3 baru, menyoroti bagaimana pengaturan inferensi dan penyedia API memengaruhi kinerja model open source. Ini membandingkan tingkat kelulusan menggunakan format pengeditan "diff" dan "whole" terhadap berbagai konfigurasi.

Qwen3-235B-A22B yang dijalankan secara lokal dengan VLLM, bfloat16, dan pengaturan /no_think mencapai tingkat kelulusan 65,3% pada benchmark aider.
Model yang sama yang diakses melalui API resmi Alibaba menghasilkan tingkat kelulusan yang lebih rendah yaitu 61,8%.
Hasilnya mencakup metrik terperinci seperti jumlah kasus uji, biaya, dan output error untuk setiap konfigurasi.

Data tersebut menggambarkan bahwa pengaturan inferensi yang stabil sangat penting bagi model open source agar dapat menyamai tingkat kinerja proprietary.

Benchmark

Benchmark	Model	Skor
Aider Polyglot	Qwen3-235B-A22B whole with VLLM, bfloat16, recommended /no_think settings	65.3%
Aider Polyglot	Qwen3 235B A22B whole, no think, via official Alibaba API	61.8%

Model

Skor

Aider Polyglot

Qwen3-235B-A22B whole with VLLM, bfloat16, recommended /no_think settings

65.3%

Aider Polyglot

Qwen3 235B A22B whole, no think, via official Alibaba API

61.8%