El artículo presenta los resultados del benchmark políglota de aider para los nuevos modelos Qwen3, destacando cómo la configuración de inferencia y los proveedores de API impactan el rendimiento de los modelos de código abierto. Se comparan las tasas de éxito utilizando ambos formatos de edición "diff" y "whole" contra varias configuraciones.

  • Qwen3-235B-A22B ejecutado localmente con VLLM, bfloat16 y la configuración /no_think logró una tasa de éxito del 65,3% en el benchmark de aider.
  • El mismo modelo accedido a través de la API oficial de Alibaba arrojó una tasa de éxito más baja del 61,8%.
  • Los resultados incluyen métricas detalladas como conteos de casos de prueba, costo y salidas de error para cada configuración.

Los datos ilustran que las configuraciones de inferencia estables son críticas para que los modelos de código abierto igualen los niveles de rendimiento propietario.