본 기사는 크로스 서베이 전이를 소개합니다. 이는 대규모 언어 모델이 응답자의 이전 답변을 기반으로 완전히 다른 질문에 대한 답을 예측하는 실리콘 샘플링을 위한 엄격한 평가 프레임워크입니다. 대만 선거 및 민주화 연구(TEDS) 2024의 데이터를 사용하여, 이 연구는 27B-120B 파라미터를 가진 세 개의 오픈 웨이트 LLM을 지도 기계 학습 기반과 비교하여 평가합니다.

  • 제로샷 LLM은 진정으로 미시청 항목에서 52%의 정확도를 달성하며, 동일 인구 데이터로 훈련된 지도 랜덤 포레스트에 6퍼센트포인트 이내로 접근합니다.
  • 안정된 구성 요소 예측 가능성 계층이 나타나며, 정당 태도에서는 67%부터 주권에서는 23%까지 범위를 가집니다.
  • 분산 붕괴 및 안전 정렬 효과가 이전에 보고된 것보다 더 미묘한 것으로 발견되었으며, 분산 붕괴는 지도 모델에도 영향을 미치고 정렬 효과는 모델 패밀리 간에 극적으로 변합니다.

이러한 발견은 LLM이 개인 수준 예측을 통해 기존 서베이 연구를 효과적으로 보완할 수 있음을 보여줌으로써 실리콘 샘플링의 가능성과 한계를 모두 명확히 합니다.