Sebuah studi observasional terhadap 90 jalankan agen independen yang membangun papan retrospektif waktu nyata menantang asumsi bahwa kemampuan tambahan seperti alat pengujian meningkatkan kualitas perangkat lunak. Penelitian menemukan bahwa meningkatkan upaya penalaran dari High ke xHigh mengangkat jalankan sempurna percobaan pertama dari 28 persen menjadi 89 persen, sedangkan menambahkan alat pengujian menaikkan biaya sebesar 42 hingga 68 persen tanpa meningkatkan skor fungsional.
- Model frontier berkumpul di dekat batas atas sementara model lokal berbiaya rendah mencetak antara 24 dan 37 poin pada rubrik 42 poin.
- Penyebaran kontainer adalah cacat dominan, gagal percobaan pertama dalam 44 persen jalankan, dengan tingkat kegagalan bergeser tajam antar generasi model.
- Alat pengujian meningkatkan biaya sebesar 42 hingga 68 persen tetapi tidak meningkatkan skor fungsional atau keandalan.
- Prompt berorientasi desain meningkatkan kualitas visual dari 3.0 menjadi 4.5 pada skala 5 poin tanpa mempengaruhi fungsi.
Studi ini menyimpulkan bahwa mencocokkan perbaikan dengan kegagalan sangat penting, karena sebagian besar kegagalan jalankan pertama berasal dari penalaran yang lemah daripada cacat terlihat yang akan ditangkap oleh alat pemeriksaan.