높은 인간 동의에도 불구하고 AMALIA-9B는 도덕적 권위를 유효하게 측정하지 못함

포르투갈의 AMALIA(9B 파라미터 유럽 포르투갈어 모델)를 평가한 연구는 인간 코더와의 높은 동의에도 불구하고 권위라는 도덕적 기반을 유효하게 측정할 수 없음을 발견했습니다. AMALIA는 원시 동의 점수에서 자신의 8배에서 13배 크기의 오픈 모델과 동등하지만, 프롬프트를 원자 절로 분해하면 성능이 회복되지 않아 이론적 구성 요소가 아닌 도덕적 분노와 같은 표면 상관관계에 의존함을 시사합니다.

• AMALIA는 더 큰 오픈 모델과 비교하여 훈련된 인간 코더와의 동의가 F1 점수 기준 6포인트 이내입니다.
• 분해는 AMALIA의 전체적 성능의 약 절반만 회복시켜 구성 요소의 이론을 따르지 못했음을 나타냅니다.
• 동일한 포르투갈어 코퍼스에서 오픈 다국어 LLM이 이 격차를 해소하여 코퍼스가 주요 설명 요인이 아님을 시사합니다.

이 연구는 주권적 LLM 벤치마크 배터리는 인간 코더와의 동의뿐만 아니라 그 동의가 어떻게 정당화되는지의 증거 경로도 테스트해야 한다고 주장합니다.