作者提出了 SynthAVE，这是一个大规模的属性值提取基准测试，旨在解决电商中人工标注的高成本问题。该数据集涵盖 12,726 种产品，涉及 229 种产品类型、792 个属性和四种语言。
- 验证使用多 LLM 竞技场框架，样本由 21 种裁判配置（7 个模型家族 × 3 个提示词）进行评估。
- 最终标签通过多数投票确定，与人类专家的一致性达到 Cohen's κ=0.92。
- 单个裁判显示出显著的模型间一致性，Fleiss' κ=0.76。
这种方法表明，多样化的模型可以聚合为高度可靠的预测，从而在保持与人工审查同等质量的同时，实现可扩展且成本效益高的验证。