포르투갈의 AMALIA(유럽 포르투갈어용 공개 자금 지원 9B 파라미터 모델)에 대한 연구는 훈련된 주석 작성자와 높은 동의를 달성했음에도 불구하고 '권위'라는 이론적 구성 개념을 신뢰할 수 있게 측정하지 못한다는 것을 발견했습니다. 이 연구는 AMALIA가 훈련된 인간 아노테이터와 F1 점수 기준 6포인트 이내의 일치를 보이지만, 근본적인 이론보다는 도덕적 분노와 같은 표면적 상관관계에 의존하고 있음을 보여줍니다.
- 이 연구는 포괄적 프롬프트를 원자 절로 분해하고 명시적 규칙을 통해 재결합하여 타당성을 테스트하는 '회복 격차' 지표를 사용합니다.
- 분해는 AMALIA의 포괄적 성능의 약 절반만 회복하며, 모델이 구성 개념의 이론적 틀을 따르지 못함을 나타냅니다.
- 열린 다국어 LLM은 동일한 포르투갈어 코퍼스에서 이 격차를 성공적으로 메웠으며, 이는 실패가 코퍼스가 아닌 AMALIA에 있음을 시사합니다.
- 저자들은 주권 LLM 벤치마크가 동의 점수 자체뿐만 아니라 동의의 증거 경로를 테스트해야 한다고 주장합니다.
이 결과는 AMALIA가 대규모 선별 및 사전 코딩에는 적합하지만, 유효한 도구로서 단독으로 기능하기에는 아직 이 구성 개념을 충분히 측정하지 못함을 시사합니다.