Terminal-Bench 2.0에 대한 연구는 GEPA, Meta Harness 및 RELAI의 Verifiable Continual Learning(RELAI-VCL)을 비교하여 에이전트 최적화 이득이 시간이 지남에 따라 복합화되는지 평가합니다. 이 연구는 최적화된 에이전트가 이전 이득을 훼손하지 않고 새로운 작업에서 개선될 수 있는지 테스트합니다.
- GEPA의 최적화 에이전트는 새로운 작업이 도입되었을 때 비최적화 기준선보다 낮은 전이를 보였습니다.
- Meta Harness는 잘 전이했지만 두 번째 최적화 예산으로 더 이상 개선하지 못했습니다.
- RELAI-VCL은 긍정적으로 전이하고 지속적으로 개선한 유일한 방법으로, GEPA의 66.0% 및 Meta Harness의 64.6%에 비해 76.4%의 평생 평균 통과율을 달성했습니다.
저자들은 최적화 루프에 회귀 제어를 통합하여 단축 솔루션을 방지할 때만 최적화 이득이 복합화된다고 결론지었습니다.