한 연구는 검색 증강 생성(RAG) 프레임워크가 검색된 자료에서 대규모 언어 모델(LLM) 응답으로 이데올로기적 편향을 어떻게 전달하는지 조사합니다. 이 연구는 샘플링 온도가 이러한 이데올로기적 전달의 강도에 크게 영향을 미친다는 것을 확인했습니다.

  • 연구자들은 1,117건의 COVID-19 치료 기사 코퍼스에 어휘 다차원 분석을 적용하여 외부 지식으로 사용된 세 가지 이데올로기적 담화를 식별했습니다.
  • LLM은 다양한 샘플링 온도에서 이데올로기적 질문에 대해 테스트되었으며, 출력은 참조 텍스트와의 의미 및 어휘적 유사성에 대해 평가되었습니다.
  • 생성된 답변과 참조 텍스트 간의 담화 정렬은 확률성과 검색 기반의 균형을 맞추는 중간 온도에서 최대가 됩니다.
  • 정렬은 낮은 온도에서 감소하며, 과도하게 결정론적인 샘플링이 이데올로기적 담화의 전달을 억제함을 나타냅니다.

이러한 발견은 RAG 시스템이 검색 소스에 따라 이데올로기적 입장을 증폭하거나 억제하기 쉽다는 것과 온도가 담화 정렬에 있어 중요한 제어 요소임을 강조합니다.