研究人员引入了Ensemble Diversity Optimization (EDO)，这是一个预测空间框架，旨在通过联合优化集成权重、基数和校准来处理主观NLP任务中系统性的标注者分歧。该方法使用Gumbel-Softmax松弛进行端到端学习，并纳入带符号的多样性正则化器以控制效用与校准之间的权衡。

  • EDO集成了软F1代理、类别加权交叉熵和可靠性加权多样性，以调节集成内变异性。
  • 在ArMIS、ConvAbuse、HS-Brexit和MD-Agreement基准上的实验显示，与Soft-CE、Soft-MD、Top-5 Voting和WEL相比，交叉熵降低了40-78%，Brier分数也更低。
  • 该方法在保持具有竞争力的F1分数的同时，实现了与标注者分布更好的对齐。

这种模型无关的方法通过防止集成崩溃，为监督学习中对人类主观性进行建模提供了一种高效方法。