EDO 프레임워크가 앙상블 다양성을 최적화하여 주관적 NLP 작업의 교정을 개선

연구자들은 예측 공간 프레임워크인 Ensemble Diversity Optimization (EDO)를 소개했으며, 이는 앙상블 가중치, 카디널리티 및 교정을 결합하여 최적화함으로써 주관적 NLP 작업에서 체계적인 주석자 불일치를 처리하도록 설계되었습니다. 이 방법은 엔드투엔드 학습을 위해 Gumbel-Softmax 완화 기법을 사용하며, 유틸리티-교정 트레이드오프를 제어하기 위해 부호 있는 다양성 정규화자를 통합합니다.

• EDO는 앙상블 내 변동성을 규제하기 위해 소프트 F1 surrogate, 클래스 가중치 교차 엔트로피 및 신뢰도 가중치 다양성을 통합합니다.
• ArMIS, ConvAbuse, HS-Brexit 및 MD-Agreement 벤치마크에서의 실험 결과, Soft-CE, Soft-MD, Top-5 Voting 및 WEL과 비교하여 교차 엔트로피(40-78%)가 감소하고 Brier 점수도 낮아졌습니다.
• 이 접근 방식은 경쟁력 있는 F1 점수를 유지하면서 주석자 분포와의 정렬을 더 잘 달성합니다.

이 모델 비종속적 접근 방식은 앙상블 붕괴를 방지함으로써 지도 학습에서 인간의 주관성을 모델링하는 효율적인 방법을 제공합니다.