В данном исследовании оценивается способность больших языковых моделей аппроксимировать человеческие культурные вкусы путем генерации кремниевых суррогатов на основе Опроса общественного участия в искусстве. Используя модели от OpenAI, Anthropic и DeepSeek, авторы анализируют 277 470 синтетических респондентов, чтобы определить, могут ли LLM достоверно воспроизводить реальные данные опросов.
- Кремниевые выборки демонстрируют систематическое положительное смещение в сторону предпочтения, что приводит к завышенным экологическим оценкам вкусов, не объясняемым WEIRD-смещением.
- Сложная взаимосвязь, наблюдаемая в реальных структурах вкусов, полностью теряется внутри кремниевых выборок.
- Известные культурные соответствия между вкусами и социальным пространством сохраняются плохо: ассоциации возраста и вкусов ослаблены, а ассоциации класса и вкусов воскрешены анахронично.
- Ассоциации пола и расы с вкусами представлены карикатурно, а не точно в синтетических данных.
Результаты указывают на то, что панели опросов, сгенерированные LLM, производят сильно стилизованные копии человеческих вкусов, что вызывает опасения относительно их достоверности для маркетинговых исследований и приложений в социальных науках.