研究者らは、予測空間のフレームワークであるEnsemble Diversity Optimization (EDO)を発表しました。これは、統合された微分可能な目的関数を通じて、アンサンブルの重み、有効な基数、および較正を同時に最適化します。EDOはGumbel-Softmax緩和を通じてアンサンブルの構成をエンドツーエンドで学習し、意見の相違を保持または抑制する方向に最適化を誘導するために符号付き多様性正則化子を組み込んでいます。

  • 4つの主観的なテキスト分類ベンチマーク（ArMIS, ConvAbuse, HS-Brexit, MD-Agreement）での実験により、EDOはSoft-CEやTop-5 Votingなどのベースラインと比較して交差エントロピーを40-78%削減することが示されました。
  • この手法はBrierスコアを低下させながら、競争力のあるF1スコアを維持し、注釈者の分布との整合性を向上させます。

これらの結果は、符号付き多様性正則化子を用いてアンサンブル構造を同時に最適化することが、教師あり学習における人間の主観性をモデル化する効率的でモデル非依存のアプローチを提供することを示しています。