SynthAVE présente le cadre LLM-Arena pour l'étiquetage synthétique évolutif dans le e-commerce

Les auteurs présentent SynthAVE, un benchmark à grande échelle pour l'extraction de valeurs d'attributs conçu pour répondre au coût élevé de l'étiquetage humain dans le e-commerce. Le jeu de données couvre 12 726 produits sur 229 types de produits, 792 attributs et quatre langues.

• La validation utilise un cadre d'arène multi-LLM où les échantillons sont évalués par 21 configurations de juges (7 familles de modèles × 3 prompts).
• Les étiquettes finales sont déterminées par vote majoritaire, qui est en accord avec les experts humains à Cohen's κ=0.92.
• Les juges individuels montrent un accord inter-modèle substantiel avec Fleiss' κ=0.76.

Cette approche démontre que des modèles divers peuvent s'agréger en prédictions hautement fiables, permettant une validation rentable à grande échelle tout en maintenant une parité de qualité avec la révision humaine.