EDO optimise les poids et la cardinalité de l'ensemble pour améliorer la calibration sur des tâches NLP subjectives

Les chercheurs présentent Ensemble Diversity Optimization (EDO), un cadre d'espace de prédiction qui optimise conjointement les poids de l'ensemble, la cardinalité effective et la calibration via un objectif différentiable unifié. EDO apprend la composition de l'ensemble de bout en bout grâce à une relaxation Gumbel-Softmax et intègre un régulariseur de diversité signé pour orienter l'optimisation vers la préservation ou la suppression du désaccord.

• Les expériences sur quatre benchmarks de classification de texte subjectif (ArMIS, ConvAbuse, HS-Brexit, MD-Agreement) montrent qu'EDO réduit l'entropie croisée de 40 à 78 % par rapport aux méthodes de base comme Soft-CE et Top-5 Voting.
• La méthode réduit les scores de Brier tout en maintenant des scores F1 compétitifs et une meilleure alignement avec les distributions des annotateurs.

Ces résultats démontrent que l'optimisation conjointe de la structure de l'ensemble avec un régulariseur de diversité signé offre une approche efficace et indépendante du modèle pour modéliser la subjectivité humaine dans l'apprentissage supervisé.