에이전트 최적화 이점이 시간이 지남에 따라 누적되는지 평가하기 위해, Terminal-Bench 2.0의 난제들에서 GEPA, Meta Harness, RELAI-VCL 세 가지 방법을 테스트했습니다. 모든 방법이 정적 기준선을 상회하지만, 미시청 작업으로의 전이와 그 후의 최적화 라운드 이후 지속적인 개선에 성공한 것은 RELAI-VCL뿐입니다.

  • 새로운 작업이 도입되었을 때 GEPA의 최적화된 에이전트는 비최적화 기준선보다 낮은 성능을 보였습니다.
  • Meta Harness는 잘 전이되었지만 두 번째 최적화 예산으로 더 이상 개선하지 못했습니다.
  • RELAI-VCL은 GEPA의 66.0%, Meta Harness의 64.6%, 기준선의 58.7%와 비교하여 76.4%의 최고 평생 평균 통과율을 달성했습니다.

저자들은 회귀 제어가 루프에 내장되어 있을 때만 최적화 이점이 누적된다고 결론지으며, 단축 솔루션에 대한 귀납적 편향을 제공합니다.