SynthAVE memperkenalkan kerangka kerja LLM-Arena untuk pelabelan sintetis yang skalabel dalam e-commerce

Para penulis menyajikan SynthAVE, sebuah benchmark skala besar untuk ekstraksi nilai atribut yang dirancang untuk mengatasi biaya tinggi pelabelan manusia dalam e-commerce. Dataset ini mencakup 12.726 produk di seluruh 229 jenis produk, 792 atribut, dan empat bahasa.

• Validasi menggunakan kerangka kerja arena multi-LLM di mana sampel dievaluasi oleh 21 konfigurasi hakim (7 keluarga model × 3 prompt).
• Label akhir ditentukan melalui voting mayoritas, yang setuju dengan ahli manusia pada Cohen's κ=0.92.
• Hakim individu menunjukkan kesepakatan antar-model yang substansial dengan Fleiss' κ=0.76.

Pendekatan ini menunjukkan bahwa model yang beragam dapat digabungkan menjadi prediksi yang sangat andal, memungkinkan validasi yang hemat biaya secara skalabel sambil mempertahankan kesetaraan kualitas dengan tinjauan manusia.