Исследование оценивает португальскую модель AMALIA, публично финансируемую модель с 9B параметров для европейского португальского языка, и выявляет, что она не может надежно измерить теоретический конструкт «авторитета», несмотря на достижение высокого согласия с человеческими кодировщиками. Исследование демонстрирует, что, хотя AMALIA согласуется с обученными человеческими аннотаторами в пределах шести пунктов F1, она полагается на поверхностные корреляты, такие как моральное возмущение, а не на лежащую в основе теорию.
- Исследование использует метрику «recovery gap» для проверки валидности путем декомпозиции холистических промптов на атомарные клаузы и их последующей рекомбинации через явные правила.
- Декомпозиция восстанавливает лишь около половины холистической производительности AMALIA, что указывает на то, что модель не следует теоретической рамке конструкта.
- Открытая многоязычная LLM успешно закрывает этот разрыв на том же корпусе португальского языка, что предполагает, что проблема заключается в AMALIA, а не в корпусе.
- Авторы утверждают, что бенчмарки суверенных LLM должны тестировать доказательный путь согласия, а не только сам показатель согласия.
Результаты указывают на то, что, хотя AMALIA может проводить скрининг и предварительное кодирование в масштабе, она пока не может достаточно хорошо измерять этот конструкт, чтобы выступать в качестве самостоятельного валидного инструмента.