저자들은 전자상거래에서 인간 라벨링의 높은 비용을 해결하기 위해 설계된 속성 값 추출을 위한 대규모 벤치마크인 SynthAVE를 제시했습니다. 이 데이터셋은 229개의 제품 유형, 792개의 속성, 4개 언어에 걸쳐 12,726개의 제품을 포함합니다.
- 검증에는 멀티 LLM 아레나 프레임워크가 사용되며, 샘플은 21개의 판정 구성(7개 모델 패밀리 × 3개 프롬프트)으로 평가됩니다.
- 최종 라벨은 다수결을 통해 결정되며, Cohen's κ=0.92로 인간 전문가와 일치합니다.
- 개별 판정자들은 Fleiss' κ=0.76의 상당한 모델 간 합의를 보입니다.
이 접근 방식은 다양한 모델이 매우 신뢰할 수 있는 예측으로 집계될 수 있음을 보여주며, 인간의 검토와 품질 동등성을 유지하면서 확장 가능한 비용 효율적인 검증을 가능하게 합니다.