Исследователи представляют Ensemble Diversity Optimization (EDO), фреймворк в пространстве предсказаний, предназначенный для обработки систематических разногласий аннотаторов в субъективных задачах NLP путем совместной оптимизации весов ансамбля, кардинальности и калибровки. Метод использует релаксацию Gumbel-Softmax для сквозного обучения и включает знакопеременный регуляризатор разнообразия для контроля компромисса между полезностью и калибровкой.

  • EDO интегрирует мягкий суррогат F1, кросс-энтропию с весами классов и разнообразие, взвешенное по надежности, для регулирования внутриансамблевой изменчивости.
  • Эксперименты на бенчмарках ArMIS, ConvAbuse, HS-Brexit и MD-Agreement показывают снижение кросс-энтропии (40-78%) и более низкие оценки Brier по сравнению с Soft-CE, Soft-MD, Top-5 Voting и WEL.
  • Подход сохраняет конкурентные показатели F1, достигая лучшего соответствия распределениям аннотаторов.

Этот независимый от модели подход обеспечивает эффективный метод моделирования человеческой субъективности в обучении с учителем путем предотвращения коллапса ансамбля.