Os autores apresentam o SynthAVE, um benchmark em larga escala para extração de valores de atributos projetado para abordar o alto custo do rotulamento humano no comércio eletrônico. O conjunto de dados abrange 12.726 produtos em 229 tipos de produto, 792 atributos e quatro idiomas.
- A validação usa um framework de arena multi-LLM onde as amostras são avaliadas por 21 configurações de juízes (7 famílias de modelos × 3 prompts).
- As etiquetas finais são determinadas por votação majoritária, concordando com especialistas humanos em Cohen's κ=0.92.
- Juízes individuais mostram acordo intermodelo substancial com Fleiss' κ=0.76.
Esta abordagem demonstra que modelos diversos podem se agregar em previsões altamente confiáveis, permitindo validação econômica em escala enquanto mantém paridade de qualidade com a revisão humana.