Un estudio observacional de 90 ejecuciones independientes de agentes que construyen un tablero retrospectivo en tiempo real cuestiona la suposición de que capacidades añadidas como herramientas de prueba mejoran la calidad del software. La investigación encontró que aumentar el esfuerzo de razonamiento de High a xHigh elevó las ejecuciones perfectas al primer intento del 28% al 89%, mientras que añadir una herramienta de prueba aumentó los costos entre un 42% y un 68% sin mejorar las puntuaciones funcionales.

  • Los modelos Frontier se agruparon cerca del techo, mientras que un modelo local de bajo costo obtuvo entre 24 y 37 puntos en una rúbrica de 42 puntos.
  • El despliegue de contenedores fue el defecto dominante, fallando al primer intento en el 44% de las ejecuciones, con tasas de fallo que cambiaron drásticamente entre generaciones de modelos.
  • La herramienta de prueba aumentó los costos entre un 42% y un 68%, pero no mejoró las puntuaciones funcionales ni la fiabilidad.
  • Un prompt orientado al diseño elevó la calidad visual de 3.0 a 4.5 en una escala de 5 puntos sin afectar la función.

El estudio concluye que igualar la corrección con el fallo es crítico, ya que la mayoría de los fallos del primer intento provienen de un razonamiento débil en lugar de defectos visibles que las herramientas de verificación detectarían.