연구자들은 모델 가중치를 수정하지 않고 LLM 성능을 자동으로 개선하는 자기진화 에이전트-하네스 프레임워크를 제시했다. 이 시스템은 변경 제안과 크레딧 할당을 분리하며, 신뢰할 수 있는 개선을 보장하기 위해 측정과 유의성 검정에 결정론적 코드를 사용한다.
- 패치는 수정된 작업이 아닌 해결된 병리(pathology)에 따라 키가 지정된 게이트드 범주형 품질 다양성 아카이브를 채운다.
- 일반화는 진화 후에만 점수가 매겨지는 실드 테스트에서 측정된다.
- 동결된 오픈 가중치 모델을 사용한 7개 도메인 전반적으로 크레딧 이득은 +9에서 +15.5pp 범위이다.
- 이 접근 방식은 훈련 이득의 86-147%를 유지하여 과적합이 아닌 일반화를 입증한다.
우승한 패치는 모델의 지배적인 병리를 추적하며, 진단 및 크레딧 루프가 서로 다른 모델 패밀리 간에 전이됨을 보여준다.