El marco EDO optimiza la diversidad del conjunto para mejorar la calibración en tareas de PLN subjetivas

Los investigadores presentan Ensemble Diversity Optimization (EDO), un marco de espacio de predicción diseñado para manejar el desacuerdo sistemático de los anotadores en tareas de PLN subjetivas mediante la optimización conjunta de pesos, cardinalidad y calibración del conjunto. El método utiliza relajación Gumbel-Softmax para aprendizaje de extremo a extremo e incorpora un regularizador de diversidad con signo para controlar el equilibrio entre utilidad y calibración.

• EDO integra un sustituto F1 suave, entropía cruzada ponderada por clases y diversidad ponderada por confiabilidad para regular la variabilidad intra-conjunto.
• Los experimentos en los benchmarks ArMIS, ConvAbuse, HS-Brexit y MD-Agreement muestran una reducción de la entropía cruzada (40-78%) y puntuaciones Brier más bajas en comparación con Soft-CE, Soft-MD, Top-5 Voting y WEL.
• El enfoque mantiene puntuaciones F1 competitivas mientras logra una mejor alineación con las distribuciones de los anotadores.

Este enfoque independiente del modelo proporciona un método eficiente para modelar la subjetividad humana en el aprendizaje supervisado evitando el colapso del conjunto.