研究者らは、主観的NLPタスクにおける体系的な注釈者の不一致に対処するために、アンサンブル重み、基数、較正を同時に最適化する予測空間フレームワークであるEnsemble Diversity Optimization (EDO)を発表した。この手法はエンドツーエンドの学習にGumbel-Softmax緩和を使用し、ユーティリティと較正のトレードオフを制御するために符号付き多様性正則化子を採用している。

  • EDOは、アンサンブル内の変動性を規制するために、ソフトF1 surrogate、クラス重み付き交差エントロピー、信頼度重み付き多様性を統合する。
  • ArMIS、ConvAbuse、HS-Brexit、MD-Agreementのベンチマークでの実験では、Soft-CE、Soft-MD、Top-5 Voting、WELと比較して交差エントロピー（40-78%）が減少し、Brierスコアも低下した。
  • このアプローチは競争力のあるF1スコアを維持しつつ、注釈者分布との整合性をより良く達成する。

このモデル非依存のアプローチは、アンサンブルの崩壊を防ぐことで、教師あり学習における人間の主観性をモデル化する効率的な方法を提供する。