Artikel ini memperkenalkan transfer lintas survei, sebuah kerangka evaluasi yang ketat untuk pengambilan sampel silikon di mana model bahasa besar memprediksi jawaban untuk pertanyaan yang sama sekali berbeda berdasarkan jawaban responden sebelumnya. Menggunakan data dari Studi Pemilihan dan Demokratisasi Taiwan (TEDS) 2024, studi ini mengevaluasi tiga LLM open-weight dengan parameter 27B-120B terhadap baseline pembelajaran mesin terawasi.
- LLM zero-shot mencapai akurasi 52% pada item yang benar-benar belum pernah dilihat, mendekati dalam 6 poin persentase dari random forest terawasi yang dilatih pada data populasi yang sama.
- Hierarki prediktabilitas konstruk yang stabil muncul, berkisar dari 67% untuk sikap partisan hingga 23% untuk kedaulatan.
- Efek keruntuhan varians dan penyesuaian keamanan ditemukan lebih nuansa daripada yang dilaporkan sebelumnya, dengan keruntuhan varians juga memengaruhi model terawasi dan efek penyesuaian bervariasi secara dramatis di seluruh keluarga model.
Temuan ini memperjelas baik janji maupun batas-batas pengambilan sampel silikon dengan menunjukkan bahwa LLM dapat secara efektif memperkuat penelitian survei tradisional melalui prediksi pada tingkat individu.