Le cadre EDO optimise la diversité des ensembles pour améliorer l'étalonnage sur les tâches NLP subjectives

Les chercheurs présentent Ensemble Diversity Optimization (EDO), un cadre d'espace de prédiction conçu pour gérer les désaccords systématiques des annotateurs dans les tâches NLP subjectives en optimisant conjointement les poids des ensembles, la cardinalité et l'étalonnage. La méthode utilise une relaxation Gumbel-Softmax pour l'apprentissage de bout en bout et intègre un régulariseur de diversité signé pour contrôler le compromis utilité-étalonnage.

• EDO intègre un surrogate F1 doux, une entropie croisée pondérée par classe et une diversité pondérée par fiabilité pour réguler la variabilité intra-ensemble.
• Les expériences sur les benchmarks ArMIS, ConvAbuse, HS-Brexit et MD-Agreement montrent une réduction de l'entropie croisée (40-78%) et des scores de Brier plus faibles par rapport à Soft-CE, Soft-MD, Top-5 Voting et WEL.
• L'approche maintient des scores F1 compétitifs tout en atteignant un meilleur alignement avec les distributions des annotateurs.

Cette approche modèle-agnostique fournit une méthode efficace pour modéliser la subjectivité humaine dans l'apprentissage supervisé en empêchant l'effondrement de l'ensemble.