한 연구는 최적화 기반 이점이 시간이 지남에 따라 누적되는지 평가하기 위해 Terminal-Bench 2.0에서 세 가지 에이전트-하니스 최적화 방법을 테스트했습니다. 이 연구는 동일한 예산 하에서 GEPA, Meta Harness 및 RELAI의 검증 가능한 지속적 학습(RELAI-VCL)을 비교하여 새로운 작업이 등장할 때 개선 사항이 지속되는지 확인합니다.

  • GEPA의 최적화된 에이전트 성능은 새로운 작업이 도입될 때 비최적화 기준선보다 낮은 전이를 보입니다.
  • Meta Harness는 잘 전이되지만 두 번째 최적화 예산을 받은 후 더 이상 개선되지 않습니다.
  • RELAI-VCL은 보이지 않는 작업에 긍정적으로 전이하고 지속적으로 개선되는 유일한 방법으로, 76.4%의 최고 평생 평균 통과율을 달성했습니다.
  • 저자들은 회귀 제어가 최적화 루프에 내장되어 단축 해결책을 방지할 때만 이점이 누적된다고 관찰했습니다.

이 결과는 회귀 제어를 통합하면 일반화되지 않는 단축 경로에 대한 유도 편향이 제공되어 배포된 에이전트 설정에서 지속적인 개선을 가능하게 함을 시사합니다.