Авторы представляют SynthAVE, крупномасштабный бенчмарк для извлечения значений атрибутов, предназначенный для решения проблемы высокой стоимости человеческой разметки в электронной коммерции. Набор данных охватывает 12 726 продуктов по 229 типам товаров, 792 атрибутам и четырем языкам.

  • Валидация использует фреймворк многоагентной арены LLM, где образцы оцениваются 21 конфигурацией судей (7 семейств моделей × 3 промпта).
  • Итоговые метки определяются путем голосования большинством, которое совпадает с мнением экспертов-людей при Cohen's κ=0.92.
  • Индивидуальные судьи демонстрируют существенное межмодельное согласие с Fleiss' κ=0.76.

Этот подход демонстрирует, что разнообразные модели могут агрегироваться в высоконадежные предсказания, обеспечивая экономически эффективную валидацию в масштабе при сохранении качества на уровне человеческого обзора.