著者らは、eコマースにおける人間のラベリングの高昂なコストに対処するために設計された、属性値抽出のための大規模ベンチマークであるSynthAVEを発表しました。このデータセットは、229つの製品タイプ、792つの属性、4つの言語にわたる12,726製品の製品をカバーしています。

  • 検証には、マルチLLMアリーナフレームワークが使用され、サンプルは21のジャッジ構成（7つのモデルファミリー × 3つのプロンプト）によって評価されます。
  • 最終的なラベルは多数決で決定され、Cohen's κ=0.92で人間の専門家と一致します。
  • 個々のジャッジ間にはFleiss' κ=0.76の大きなモデル間合意が見られます。

このアプローチは、多様なモデルが高信頼性の予測に集約できることを示しており、人間のレビューとの品質同等性を維持しながら、スケーラブルなコスト効果の高い検証を可能にします。