저자들은 Epistemic Stance Flexibility Probing (ESFP)를 소개했습니다. 이는 대규모 언어 모델이 외부 귀속 프롬프트와 자기 귀속 프롬프트를 얼마나 잘 구분하는지를 측정하도록 설계된 행동 벤치마크입니다. ESFP는 104개의 통제된 항목을 사용하여 여섯 가지 인식적 범위에 걸쳐 이 능력을 평가하며, 어휘적 자기 귀속, 표현 수준 반응성, 태도 콘텐츠 밀도 및 조건 간 일관성을 평가합니다.

  • 다섯 공급업체의 여덟 개 프론티어 모델을 평가한 결과, 인식적 유연성은 일반적인 모델 능력과 거의 직교하는 것으로 나타났습니다.
  • 27B 오픈 웨이트 모델은 이 특정 지표에서 가장 강력한 프로프라이에터리 시스템의 성능과 맞먹었습니다.
  • 한 계열의 플래그십 모델은 경량 버전보다 성능이 저조했으며, 추론 최적화 모델은 일관되게 더 높은 유연성을 보이지 않았습니다.
  • 태도 콘텐츠 밀도는 유연성을 측정하는 데 가장 강력한 신호를 제공한 반면, 'I think'와 같은 표면적 어휘 마커는 표현된 태도의 변화 없이 변경될 수 있습니다.

ESFP는 일반적인 능력 측정치가 아니라, 변화하는 귀속 조건 하에서 모델이 인식적 태도를 적응시키는 성향을 측정합니다.