Une étude observationnelle de 90 exécutions d'agents indépendants construisant un tableau de rétrospective en temps réel remet en question l'hypothèse selon laquelle des capacités ajoutées comme les outils de test améliorent la qualité logicielle. La recherche a révélé qu'augmenter l'effort de raisonnement de High à xHigh a fait passer les exécutions parfaites au premier essai de 28 % à 89 %, tandis que l'ajout d'un outil de test a augmenté les coûts de 42 à 68 % sans améliorer les scores fonctionnels.
- Les modèles frontier étaient regroupés près du plafond, tandis qu'un modèle local à faible coût a obtenu entre 24 et 37 points sur une grille de 42 points.
- Le déploiement de conteneurs était le défaut dominant, échouant au premier essai dans 44 % des exécutions, avec des taux d'échec variant fortement selon les générations de modèles.
- L'outil de test a augmenté les coûts de 42 à 68 % mais n'a pas amélioré les scores fonctionnels ou la fiabilité.
- Une invite orientée design a élevé la qualité visuelle de 3,0 à 4,5 sur une échelle de 5 points sans affecter la fonctionnalité.
L'étude conclut qu'adapter la correction à l'échec est crucial, car la plupart des échecs au premier essui proviennent d'un raisonnement faible plutôt que de défauts visibles qu'outils de vérification captureraient.