跨调查迁移显示零样本LLM在未见过调查项目上达到52%准确率

本文介绍了跨调查迁移，这是一种用于硅采样的严格评估框架，其中大型语言模型根据受访者的先前回答来预测完全不同的问题的答案。利用2024年台湾选举与民主化研究（TEDS）的数据，该研究评估了三个参数量在27B至120B之间的开源LLM，并与监督式机器学习基线进行了对比。

• 零样本LLM在未见过的项目上达到52%的准确率，仅比使用同种群数据训练的监督式随机森林低6个百分点。
• 出现了一个稳定的构念可预测性层级，从党派态度的67%到主权问题的23%不等。
• 发现方差坍缩和安全对齐效应比先前报告的更为微妙，方差坍缩同样影响监督模型，而对齐效应在不同模型家族间差异巨大。

这些发现通过证明LLM可以通过个体层面的预测有效地增强传统调查研究，阐明了硅采样的潜力和局限性。