AMALIA-9B не способна корректно измерить моральный авторитет, несмотря на высокое согласие с людьми

Исследование оценивает португальскую модель AMALIA объемом 9B параметров, показав, что она не может достоверно измерить моральное основание авторитета, несмотря на высокое согласие с кодировщиками-людьми. Хотя AMALIA демонстрирует сырые показатели согласия в восемь–тринадцать раз выше, чем у открытых моделей такого же размера, она теряет производительность при декомпозиции промптов на атомарные клаузы, что указывает на опору на поверхностные корреляты, такие как моральное возмущение, а не на теоретические конструкции.

• AMALIA согласуется с обученными человеческими кодировщиками в пределах шести пунктов F1 по сравнению с более крупными открытыми моделями.
• Декомпозиция восстанавливает лишь около половины холистической производительности AMALIA, что указывает на неспособность следовать теории конструкта.
• Открытая многоязычная LLM закрывает этот разрыв на том же португальском корпусе, указывая на то, что корпус не является основным объяснением.

Исследование утверждает, что бенчмарк-батареи суверенных LLM должны тестировать не только согласие с человеческими кодировщиками, но и доказательный путь, которым это согласие обосновывается.