Levent Bulut은 "summarization bias"의 운영적 정의를 모호한 설명에서 테스트 가능한 구성 요소로 업데이트했으며, 사전에 지정된 반증 조건을 갖춘 등록된 연구 프로토콜을 확립했습니다. 새로운 정의는 이 편향을 단순히 세부 사항을 제거하는 것이 아니라, 모델이 보이는 방식의 구조를 추상적인 요약 레이블(말하는 방식)로 체계적으로 대체하는 경향으로 특징짓습니다.

  • 이 구성 요소는 콘텐츠의 내용을 지칭하는 추상적 요약 레이블로 재구성 가능한 보이는 방식의 구조를 대체하는 것으로 정의되며, 특히 "보이는" 물리적 단서보다 "말하는" 선언을 선호합니다.
  • 프로토콜은 인간이 작성한 자극물 20쌍과 LLM 판정자를 사용하여 최소 세 가지 모델 계열로 평가하는 것을 요구합니다.
  • 주요 반증 조건이 확립되었습니다: 모델이 인간에 비해 말하는 방식을 선호하지 않는 경우(Cohen’s h ≥ 0.3 또는 OR ≥ 2), 이 구성 요소는 철회됩니다.
  • 편향이 어휘량과 아부성에서 분리되도록 길이 불일치 쌍을 사용하고 다양한 프레이밍으로 테스트를 재실행하여 판별 타당성 검사를 포함합니다.

Bulut은 설계에 대한 비판을 구하고 있으며, 특히 길이를 일치시키는 것이 이 편향을 어휘량 편향과 충분히 분리하는지, 그리고 추론 부하를 측정하기 위해 Suppressed Information Index가 올바른 도구인지에 대해 구체적으로 묻습니다.