Наблюдательное исследование 90 независимых запусков агентов, создающих доску ретроспективы в реальном времени, ставит под сомнение предположение о том, что добавление таких возможностей, как инструменты тестирования, улучшает качество ПО. Исследование показало, что увеличение усилия на рассуждение с High до xHigh повысило долю идеальных запусков с первого раза с 28% до 89%, тогда как добавление инструмента тестирования увеличило затраты на 42–68%, не улучшив функциональные показатели.
- Модели уровня Frontier показали результаты, близкие к максимальным, в то время как локальная модель низкого класса набрала от 24 до 37 баллов по 42-балльной шкале.
- Развёртывание контейнеров стало основной причиной дефектов: сбой при первом запуске наблюдался в 44% случаев, а частота отказов резко менялась в зависимости от поколения модели.
- Инструмент тестирования увеличил затраты на 42–68%, но не улучшил функциональные показатели или надёжность.
- Промпт, ориентированный на дизайн, повысил визуальное качество с 3.0 до 4.5 по 5-балльной шкале, не повлияв на функциональность.
Исследование делает вывод, что соответствие исправления типу отказа имеет решающее значение, поскольку большинство сбоев при первом запуске обусловлены слабым рассуждением, а не видимыми дефектами, которые могли бы выявить инструменты проверки.