Статья представляет кросс-опросный перенос — строгую рамку оценки для сэмплирования на кремнии, где большие языковые модели предсказывают ответы на совершенно другие вопросы на основе предыдущих ответов респондента. Используя данные исследования Тайваньских выборов и демократизации (TEDS) 2024 года, исследование оценивает три LLM с открытым весом с параметрами от 27B до 120B по сравнению с базовыми уровнями контролируемого машинного обучения.

  • Zero-shot LLM достигают точности 52% на действительно невидимых элементах, сокращая разрыв до 6 процентных пунктов по сравнению со случайным лесом, обученным контролируемым образом на данных той же популяции.
  • Формируется иерархия предсказуемости конструктов, варьирующаяся от 67% для партийных установок до 23% для суверенитета.
  • Выявлено, что эффекты коллапса дисперсии и безопасности выравнивания более нюансированы, чем сообщалось ранее: коллапс дисперсии влияет также на контролируемые модели, а эффекты выравнивания сильно варьируются в зависимости от семейств моделей.

Эти результаты проясняют как потенциал, так и границы сэмплирования на кремнии, демонстрируя, что LLM могут эффективно дополнять традиционные опросные исследования за счет предсказания на уровне отдельных лиц.