本文介绍了针对新Qwen3模型的aider多语言基准测试结果,强调了推理设置和API提供商如何影响开源模型的性能。它使用“diff”和“whole”两种编辑格式与各种配置进行了通过率比较。
- 在本地运行Qwen3-235B-A22B,配合VLLM、bfloat16以及/no_think设置,在aider基准测试中达到了65.3%的通过率。
- 通过阿里巴巴官方API访问同一模型时,获得的通过率较低,为61.8%。
- 结果包括每种配置的详细指标,如测试用例数量、成本和错误输出。
数据表明,稳定的推理设置对于开源模型达到专有模型的性能水平至关重要。