대규모 언어 모델이 객관적 쿼리와 주관적 쿼리를 어떻게 처리하는지 비교함으로써, 프롬프트된 응답이 모델의 가치를 신뢰할 수 있게 반영한다는 가정에 의문을 제기하는 연구가 있다. 연구자들은 3개의 객관적 데이터셋(MMLU, ARC, CulturalBench)과 3개의 주관적 데이터셋(Political Compass Test, ValueBench, World Values Survey)에 걸쳐 4가지 지시 학습 모델 패밀리를 평가했다. 각 질문마다 다양한 프롬프트 변경을 적용하여 모델이 변형 간에 일관된 답변을 유지하는지 측정했다.
- 이항 일반 추정 방정식을 사용하여 모델, 데이터셋, 프롬프트 범주 및 이들의 상호작용에서 유의미한 효과가 발견되었다.
- 데이터셋 유형과 프롬프트 범주의 상호작용은 특히 커서, 견고성이 질문의 성격에 따라 크게 달라짐을 나타낸다.
- 결과는 프롬프트 견고성이 균일하지 않고 특정 질문 유형, 적용된 프롬프트 변경 종류 및 모델 아키텍처에 크게 의존함을 보여준다.
이러한 발견은 응답을 정치적 가치나 사회적 태도의 증거로 간주하는 설문지 스타일 평가가 취약하다는 것을 시사하며, 서로 다른 질문 유형 간에 일관성을 가정할 수 없기 때문이다.