저자들은 최종 루프에서 인간 전문가를 필요로 하지 않고 금융 딥 리서치 에이전트를 위한 고품질 평가 기준을 생성하기 위한 확장 가능한 파이프라인인 FinResearchBench II 를 제시합니다. 이 벤치마크는 104 개의 실제 사용자 쿼리로 구축되었으며 모델 생성 보고서로부터 자동으로 14,450 개의 후보 기준을 합성합니다.

  • LLM 기반 평가는 공동으로 일치하는 항목에서 인간 전문가와 98.67% 의 라벨 수준 합의를 보여 대규모 선별에 대한 사용을 검증합니다.
  • 컨센서스 기반 골드 기준은 엄격한 일관성 필터와 구분 가능성 필터를 사용하여 도출되며, 최종적으로 2,600 개의 기준이 생성됩니다.
  • 이 벤치마크는 10 개의 딥 리서치 시스템 간에 명확하게 구별되는 랭킹을 생성하며, 항목 수준 통과율은 58.58% 에서 22.23% 사이입니다.

이 접근 방식은 기준 생성 및 평가에서 인간 전문가의 실행을 제거하여 벤치마크 평가, 자동 시스템 비교 및 평가 기반 시스템 개선을 위한 향후 연구에 대해 자연스럽게 확장 가능하게 만듭니다.