Формальный психометрический анализ показывает, что видимые психологические профили больших языковых моделей в основном обусловлены смещением ответов, а не реальными чертами. Это смещение, которое изменяется в зависимости от способности модели и усиливается конструкцией инструмента, объясняет 81–90% различий между моделями, что значительно превышает различия в чертах у людей. В исследовании делается вывод, что такие профили являются артефактами измерения, а не свойствами моделей, и предлагается разработка оценок, основанных на ортогональности ответов.
Психологические профили больших языковых моделей — это артефакты измерения
Переведено с English → Русский