Um estudo observacional de 90 execuções independentes de agentes construindo um quadro retrospectivo em tempo real desafia a suposição de que capacidades adicionais, como ferramentas de teste, melhoram a qualidade do software. A pesquisa descobriu que aumentar o esforço de raciocínio de High para xHigh elevou as execuções perfeitas na primeira tentativa de 28% para 89%, enquanto adicionar uma ferramenta de teste aumentou os custos em 42 a 68% sem melhorar as pontuações funcionais.
- Modelos Frontier agruparam-se perto do teto, enquanto um modelo local de baixo custo marcou entre 24 e 37 pontos em uma rubrica de 42 pontos.
- A implantação de contêineres foi o defeito dominante, falhando na primeira tentativa em 44% das execuções, com taxas de falha mudando drasticamente entre gerações de modelos.
- A ferramenta de teste aumentou os custos em 42 a 68%, mas não melhorou as pontuações funcionais ou a confiabilidade.
- Um prompt orientado ao design elevou a qualidade visual de 3.0 para 4.5 em uma escala de 5 pontos, sem afetar a função.
O estudo conclui que combinar o conserto com a falha é crítico, pois a maioria das falhas na primeira execução decorre de raciocínio fraco, e não de falhas visíveis que ferramentas de verificação capturariam.