Kerangka kerja EDO mengoptimalkan keragaman ensemble untuk meningkatkan kalibrasi pada tugas NLP subjektif

Para peneliti memperkenalkan Ensemble Diversity Optimization (EDO), sebuah kerangka ruang prediksi yang dirancang untuk menangani ketidaksepakatan anotator sistematis dalam tugas NLP subjektif dengan mengoptimalkan secara bersamaan bobot ensemble, kardinalitas, dan kalibrasi. Metode ini menggunakan relaksasi Gumbel-Softmax untuk pembelajaran end-to-end dan menggabungkan regularizer keragaman bertanda untuk mengendalikan trade-off utilitas-kalibrasi.

• EDO mengintegrasikan surrogate F1 lunak, entropi silang berbobot kelas, dan keragaman berbobot keandalan untuk mengatur variabilitas intra-ensemble.
• Eksperimen pada benchmark ArMIS, ConvAbuse, HS-Brexit, dan MD-Agreement menunjukkan pengurangan entropi silang (40-78%) dan skor Brier yang lebih rendah dibandingkan dengan Soft-CE, Soft-MD, Top-5 Voting, dan WEL.
• Pendekatan ini mempertahankan skor F1 yang kompetitif sambil mencapai keselarasan yang lebih baik dengan distribusi anotator.

Pendekatan model-agnostik ini menyediakan metode yang efisien untuk memodelkan subjektivitas manusia dalam pembelajaran terawasi dengan mencegah keruntuhan ensemble.