Исследователи предлагают Ensemble Diversity Optimization (EDO), фреймворк в пространстве предсказаний, который совместно оптимизирует веса ансамбля, эффективную кардинальность и калибровку через единую дифференцируемую целевую функцию. EDO обучает состав ансамбля сквозным образом с помощью релаксации Gumbel-Softmax и включает знакопеременный регуляризатор разнообразия для направления оптимизации на сохранение или подавление несогласованности.

  • Эксперименты на четырех бенчмарках классификации субъективного текста (ArMIS, ConvAbuse, HS-Brexit, MD-Agreement) показывают, что EDO снижает перекрестную энтропию на 40-78% по сравнению с базовыми методами, такими как Soft-CE и Top-5 Voting.
  • Метод снижает баллы Бье при сохранении конкурентоспособных значений F1 и лучшем соответствии распределениям аннотаторов.

Эти результаты демонстрируют, что совместная оптимизация структуры ансамбля со знакопеременным регуляризатором разнообразия обеспечивает эффективный, не зависящий от модели подход к моделированию человеческой субъективности в обучении с учителем.