실시간 회고 보드를 구축하는 90회의 독립적인 에이전트 실행에 대한 관측 연구는 테스트 도구와 같은 추가 기능이 소프트웨어 품질을 향상시킨다는 가정에 의문을 제기합니다. 연구 결과, High에서 xHigh로 추론 노력을 증가시키면 첫 시도 성공률이 28%에서 89%로 상승한 반면, 테스트 도구를 추가하면 기능 점수는 개선되지 않은 채 비용만 42~68% 증가했습니다.

  • 프론티어 모델은 상한선 근처에 군집을 이루었고, 저비용 로컬 모델은 42점 만점 기준에서 24~37점을 기록했습니다.
  • 컨테이너 배포가 주요 결함이 되어 실행의 44%에서 첫 시도 실패했으며, 모델 세대 간 실패율이 급격히 변화했습니다.
  • 테스트 도구는 비용을 42~68% 증가시켰지만 기능 점수나 신뢰성을 개선하지 못했습니다.
  • 디자인 중심 프롬프트는 기능에는 영향을 주지 않고 시각적 품질을 5점 척도에서 3.0에서 4.5로 높였습니다.

이 연구는 실패에 대한 수정이 일치하는 것이 중요하다고 결론짓는데, 대부분의 첫 실행 실패는 체크 도구가 잡아낼 수 있는 눈에 보이는欠陥이 아닌 약한 추론에서 비롯되기 때문입니다.