EDO mengoptimalkan bobot dan kardinalitas ensemble untuk meningkatkan kalibrasi pada tugas NLP subjektif

Para peneliti memperkenalkan Ensemble Diversity Optimization (EDO), sebuah kerangka ruang prediksi yang secara bersamaan mengoptimalkan bobot ensemble, kardinalitas efektif, dan kalibrasi melalui tujuan diferensiabel terpadu. EDO mempelajari komposisi ensemble secara end-to-end melalui relaksasi Gumbel-Softmax dan menggabungkan regularizer keberagaman bertanda untuk mengarahkan optimasi menuju pelestarian atau penekanan ketidaksepakatan.

• Eksperimen pada empat benchmark klasifikasi teks subjektif (ArMIS, ConvAbuse, HS-Brexit, MD-Agreement) menunjukkan EDO mengurangi entropi silang sebesar 40-78% dibandingkan dengan baseline seperti Soft-CE dan Top-5 Voting.
• Metode ini menurunkan skor Brier sambil mempertahankan skor F1 yang kompetitif dan keselarasan yang lebih baik dengan distribusi anotator.

Hasil-hasil ini menunjukkan bahwa mengoptimalkan struktur ensemble secara bersamaan dengan regularizer keberagaman bertanda menyediakan pendekatan yang efisien dan model-agnostik untuk memodelkan subjektivitas manusia dalam pembelajaran terawasi.