वास्तविक समय के पुनरावलोकन बोर्ड बनाने वाले 90 स्वतंत्र एजेंट रनों का एक अवलोकन अध्ययन इस धारणा को चुनौती देता है कि परीक्षण उपकरणों जैसे अतिरिक्त क्षमताएं सॉफ्टवेयर गुणवत्ता को बेहतर बनाती हैं। शोध ने पाया कि High से xHigh तक तर्क प्रयास बढ़ाने से पहली बार में पूर्ण रन 28 प्रतिशत से बढ़कर 89 प्रतिशत हो गए, जबकि परीक्षण उपकरण जोड़ने से लागत में 42 से 68 प्रतिशत की वृद्धि हुई बिना कार्यात्मक स्कोर को बेहतर किए।
- Frontier मॉडल छत के पास समूहित थे, जबकि एक कम लागत वाला स्थानीय मॉडल 42 अंक के रूब्रिक पर 24 और 37 अंक के बीच स्कोर किया।
- कंटेनर तैनाती प्रमुख दोष थी, जो रनों के 44 प्रतिशत में पहली बार में विफल हो गई, जिसमें मॉडल पीढ़ियों के बीच विफलता दरें तेजी से बदल गईं।
- परीक्षण उपकरण ने लागत को 42 से 68 प्रतिशत तक बढ़ा दिया लेकिन कार्यात्मक स्कोर या विश्वसनीयता में सुधार नहीं किया।
- डिज़ाइन-उन्मुख प्रॉम्प्ट ने 5-अंक के पैमाने पर दृश्य गुणवत्ता को 3.0 से बढ़ाकर 4.5 कर दिया, बिना कार्यात्मकता को प्रभावित किए।
अध्ययन निष्कर्ष निकालता है कि विफलता के अनुसार ठीक करना महत्वपूर्ण है, क्योंकि अधिकांश पहली रन विफलताएं दिखाई देने वाले दोषों के बजाय कमजोर तर्क से उत्पन्न होती हैं जिन्हें जांच उपकरण पकड़ते।