소화된 단어 백 분류기, 의미적 자리, 그리고 소규모 오픈 모델 패널(qwen2.5:7b, llama3.2:3b, gemma2:2b)로 구성된 실패 시 폐쇄형 윤리 게이트가 있는 피어투피어 원장은 공통 특징을 공유하는 심판들이 독립적인 오류가 아닌 상관된 오류를 보인다는 것을 드러냅니다.

  • 1,226개의 레이블링된 위반 사항 중, 소화된 심판과 동일한 특징을 가진 naive Bayes 모델은 같은 거래를 4.3%의 확률로 잘못 승인했으며, 이는 오류가 독립적이었다면 예상되는 0.56%보다 약 7.7배 높은 수치입니다.
  • 평가 결과, 소화된 심판은 레이블링된 위반 사항을 3.4%(2.6~4.3) 잘못 승인하는 반면, 동일한 특징을 가진 모델은 결정해야 하는 상황에서 23.9%를 잘못 승인했으며 기권율은 34.8%였습니다.
  • 3,444개의 레이블 데이터셋은 374개의 투표된 행에 대해 Fleiss’ kappa가 0.857인 세 명의 소규모 오픈 모델 패널에 의해 생성되었으며, 인간 레이블링은 포함되지 않았습니다.

이 결과는 공통 특징과 학습 데이터를 공유하는 심판들에게 구현의 다양성이 오류의 독립성을 보장하지 않는다는 것을 나타내며, 다수결 설계에서의 독립성 가정에 의문을 제기합니다.