يقدم المؤلفون SynthAVE، وهو معيار واسع النطاق لاستخراج قيم السمات مصمم لمعالجة التكلفة العالية للتسمية البشرية في التجارة الإلكترونية. يمتد مجموعة البيانات عبر 12,726 منتجًا عبر 229 نوعًا من المنتجات، و792 سمة، وأربع لغات.
- تستخدم التحقق إطار عمل ساحة LLM متعدد حيث يتم تقييم العينات بواسطة 21 تكوينًا للحكم (7 عائلات نماذج × 3 مطالبات).
- يتم تحديد التسميات النهائية عبر التصويت بالأغلبية، والذي يتفق مع الخبراء البشريين عند Cohen's κ=0.92.
- يظهر الحكام الأفراد اتفاقًا كبيرًا بين النماذج بـ Fleiss' κ=0.76.
تُظهر هذه النهج أن النماذج المتنوعة يمكن أن تتجمع في تنبؤات موثوقة للغاية، مما يتيح التحقق الفعال من حيث التكلفة على نطاق واسع مع الحفاظ على التكافؤ في الجودة مع المراجعة البشرية.