Los autores presentan SynthAVE, un benchmark a gran escala para la extracción de valores de atributos diseñado para abordar el alto costo del etiquetado humano en el comercio electrónico. El conjunto de datos abarca 12.726 productos en 229 tipos de producto, 792 atributos y cuatro idiomas.
- La validación utiliza un marco de arena multi-LLM donde las muestras son evaluadas por 21 configuraciones de jueces (7 familias de modelos × 3 prompts).
- Las etiquetas finales se determinan mediante votación mayoritaria, que coincide con expertos humanos en Cohen's κ=0.92.
- Los jueces individuales muestran un acuerdo intermodelo sustancial con Fleiss' κ=0.76.
Este enfoque demuestra que los modelos diversos pueden agregarse en predicciones altamente confiables, permitiendo una validación rentable a escala mientras se mantiene la paridad de calidad con la revisión humana.