Framework EDO otimiza a diversidade do ensemble para melhorar a calibração em tarefas de PLN subjetivas

Pesquisadores introduzem o Ensemble Diversity Optimization (EDO), um framework de espaço de previsão projetado para lidar com desacordo sistemático de anotadores em tarefas de PLN subjetivas, otimizando conjuntamente pesos do ensemble, cardinalidade e calibração. O método utiliza relaxamento Gumbel-Softmax para aprendizado de ponta a ponta e incorpora um regularizador de diversidade com sinal para controlar o trade-off entre utilidade e calibração.

• O EDO integra uma surrogate F1 suave, entropia cruzada ponderada por classe e diversidade ponderada por confiabilidade para regular a variabilidade intra-ensemble.
• Experimentos nos benchmarks ArMIS, ConvAbuse, HS-Brexit e MD-Agreement mostram redução da entropia cruzada (40-78%) e escores Brier mais baixos em comparação com Soft-CE, Soft-MD, Top-5 Voting e WEL.
• A abordagem mantém escores F1 competitivos enquanto alcança melhor alinhamento com as distribuições dos anotadores.

Esta abordagem model-agnostic fornece um método eficiente para modelar a subjetividade humana no aprendizado supervisionado, prevenindo o colapso do ensemble.