심층 연구 시스템에서 인용 검증을 위해 최첨단 모델이 필요한지 평가한 연구에서, 더 저렴한 판정기가 골드 라벨과 경쟁력 있음을 발견했다.

  • 연구진은 3개 모델 패밀리의 8개 오프더셸 LLM 판정기를 1,248개의 기준 결정으로 구성된 적대적 장문 벤치마크에서 평가했다.
  • GPT-5-mini는 소스 관련성 통과 클래스 F1에서 0.908로 가장 강력한 성능을 보였으며, 사실적 지원 점수는 모델 간에 통계적으로 유의미한 차이가 없었다.
  • 스칼라 F1 점수가 유사함에도 불구하고 판정기 간에는 통과율 드리프트와 거짓 양성/음성 비율에서 상당한 차이가 있었다.

이 결과는 인용 기준을 보상 신호로 사용하기 위해 판정기 보정이 필수적이지만, 이 보정에 가장 비싼 모델이 필요하지는 않음을 나타낸다.