लेख क्रॉस-सर्वे ट्रांसफर का परिचय देता है, जो सिलिकॉन सैंपलिंग के लिए एक कठोर मूल्यांकन फ्रेमवर्क है जहाँ बड़े भाषा मॉडल प्रतिक्रियादाता के पिछले उत्तरों के आधार पर पूरी तरह से अलग प्रश्नों के उत्तरों की भविष्यवाणी करते हैं। 2024 के ताइवान चुनाव और लोकतंत्रीकरण अध्ययन (TEDS) के डेटा का उपयोग करते हुए, अध्ययन तीन ओपन-वेट LLMs का मूल्यांकन 27B-120B पैरामीटर के साथ सुपरवाइज्ड मशीन लर्निंग बेलाइन के खिलाफ करता है।
- जीरो-शॉट LLM वास्तव में अदृश्य आइटम पर 52% सटीकता प्राप्त करते हैं, जो उसी जनसंख्या के डेटा पर प्रशिक्षित एक सुपरवाइज्ड रैंडम फॉरेस्ट से केवल 6 प्रतिशत बिंदु कम है।
- एक स्थिर संरचना पूर्वानुमाननीयता पदानुक्रम उभरता है, जो राजनीतिक दल की प्रवृत्तियों के लिए 67% से लेकर संप्रभुता के लिए 23% तक होता है।
- भिन्नता पतन और सुरक्षा संरेखण प्रभावों को पहले की तुलना में अधिक सूक्ष्म पाया गया है; भिन्नता पतन सुपरवाइज्ड मॉडल को भी प्रभावित करता है और संरेखण प्रभाव मॉडल परिवारों के बीच नाटकीय रूप से भिन्न होते हैं।
ये निष्कर्ष सिलिकॉन सैंपलिंग की वादाओं और सीमाओं दोनों को स्पष्ट करते हैं, यह दिखाते हुए कि LLM व्यक्ति-स्तर की भविष्यवाणी के माध्यम से पारंपरिक सर्वेक्षण शोध को प्रभावी ढंग से बढ़ा सकते हैं।