본 연구는 작은 동결 코드 모델에서 자기 수리 피드백의 가치를 위약 대조 설계(decomposition)를 사용하여 분해했으며, 개선이 실패한 코드의 재노출에서 비롯되는지 아니면 실행 가능한 비판에서 비롯되는지를 결정했다. 이 연구는 생성된 프로그램을 추정으로 간주하고 테스트 실행 위반을 반례로 취급함으로써 표준 재시도 메커니즘에 의문을 제기한다.
- 3개의 0.5B-1.5B 동결 모델을 사용하여 6개의 HumanEval+/MBPP+ 셀에 걸쳐 290개의 죽은 작업 셀 유닛을 평가했다.
- 블라인드 재표본추출은 단순 코드 재시도보다 +18의 순 잠금 해제(p=0.0021)로 앞섰다.
- 코드 plus 사실 피드백은 단순 코드보다 +18, 일반 총알 위약보다 +15를 회복했다.
- 지시만 있는 효과는 위약과 통계적으로 구별할 수 없었다.
- falsification은 어휘나 자기 비판이 아니라 외부 실행 가능 반례와의 비교를 통해 도움이 되었다.
이러한 발견은 재학습이 불가능한 배포 설정에서 피드백 가치가 실패한 출력에 대한 단순 노출이 아닌 외부 실행 가능한 비판에서 비롯된다는 것을 시사한다.