Психологические профили LLM являются артефактами измерения
Формальный психометрический анализ показывает, что видимые психологические профили больших языковых моделей в основном обусловлены смещением ответов, а не реальными чертами. Это смещение, которое приводит к систематическому предпочтению моделей к одному концу шкалы, объясняет 81-90% разнообразия между моделями, что значительно превышает различия между людьми. Исследование заключает, что эти профили являются артефактами конструкции инструмента и не отражают истинных свойств моделей, и призывает к разработке оценок, основанных на ортогональности ответов.