EDO는 앙상블 가중치와 카디널리티를 최적화하여 주관적 NLP 작업의 교정을 개선합니다

연구자들은 예측 공간 프레임워크인 Ensemble Diversity Optimization (EDO)를 소개했습니다. 이는 통합된 미분 가능한 목적 함수를 통해 앙상블 가중치, 유효 카디널리티 및 교정을 함께 최적화합니다. EDO는 Gumbel-Softmax 완화(e relaxation)를 통해 앙상블 구성을 엔드투엔드로 학습하며, 의견 불일치를 보존하거나 억제하는 방향으로 최적화를 유도하기 위해 부호 있는 다양성 정규화항을 포함합니다.

• 네 가지 주관적 텍스트 분류 벤치마크(ArMIS, ConvAbuse, HS-Brexit, MD-Agreement)에서의 실험은 EDO가 Soft-CE 및 Top-5 Voting과 같은 베이스라인 대비 교차 엔트로피를 40-78% 감소시킨다는 것을 보여줍니다.
• 이 방법은 Brier 점수를 낮추면서 경쟁력 있는 F1 점수를 유지하고 주석자 분포와의 정렬을 개선합니다.

이러한 결과는 부호 있는 다양성 정규화항과 함께 앙상블 구조를 함께 최적화하는 것이 지도 학습에서 인간의 주관성을 모델링하기 위한 효율적이고 모델 비종속적인 접근 방식을 제공함을 보여줍니다.