L'article présente le transfert inter-enquête, un cadre d'évaluation rigoureux pour l'échantillonnage par silicium où les grands modèles de langage prédisent les réponses à des questions entièrement différentes sur la base des réponses précédentes d'un répondant. En utilisant les données de l'Étude sur l'élection et la démocratisation à Taïwan (TEDS) 2024, l'étude évalue trois LLM open-weight de 27B à 120B paramètres par rapport aux lignes de base d'apprentissage automatique supervisé.

  • Les LLM en zero-shot atteignent 52 % de précision sur des éléments véritablement non vus, se rapprochant à moins de 6 points de pourcentage d'une forêt aléatoire supervisée entraînée sur des données de même population.
  • Une hiérarchie stable de prédictibilité des constructs émerge, allant de 67 % pour les attitudes partisanes à 23 % pour la souveraineté.
  • Les effets d'effondrement de la variance et d'alignement de sécurité s'avèrent plus nuancés que précédemment rapporté, l'effondrement de la variance affectant également les modèles supervisés et les effets d'alignement variant considérablement selon les familles de modèles.

Ces résultats clarifient à la fois le potentiel et les limites de l'échantillonnage par silicium en démontrant que les LLM peuvent efficacement compléter la recherche par enquête traditionnelle grâce à la prédiction au niveau individuel.