O artigo apresenta os resultados do benchmark poliglota do aider para os novos modelos Qwen3, destacando como as configurações de inferência e os provedores de API impactam o desempenho de modelos de código aberto. São comparadas as taxas de aprovação usando ambos os formatos de edição "diff" e "whole" contra várias configurações.
- O Qwen3-235B-A22B executado localmente com VLLM, bfloat16 e configurações /no_think alcançou uma taxa de aprovação de 65,3% no benchmark do aider.
- O mesmo modelo acessado via API oficial da Alibaba resultou em uma taxa de aprovação menor de 61,8%.
- Os resultados incluem métricas detalhadas, como contagem de casos de teste, custo e saídas de erro para cada configuração.
Os dados ilustram que configurações de inferência estáveis são críticas para que modelos de código aberto alcancem níveis de desempenho proprietários.