한 연구는 Bielik, PLLuM, Gemma-4 및 Qwen3 계열의 12개 지시 학습 모델을 대상으로 답변 생성 전 엔티티에 대한 친숙도를 추정할 수 있는지 확인하기 위해 마지막 프롬프트 토큰에서의 활성화 활동을 조사했습니다. 1,440개의 폴란드어 엔티티 데이터셋을 사용하여 연구자들은 친숙도 프로브 점수가 모든 모델 계열에서 실제 엔티티와 가짜 엔티티를 효과적으로 분리한다는 것을 발견했습니다.

  • 친숙도 프로브 점수는 폴란드어 적응형 Bielik 및 PLLuM 모델에서 엔티티 인기도를 추적합니다(Spearman ρ 0.28-0.57). 이 패턴은 Gemma-4와 Qwen3에서는 덜 뚜렷합니다.
  • 프롬프트 언어를 폴란드어에서 영어로 전환해도 프로브는 언어 내 AUROC의 96-101%를 유지하여 프롬프트 언어에 대한 강건함을 입증했습니다.
  • Gemma-4-12B에서 단일 계층에 차원 친숙도 방향을 추가하면 알려진 엔티티와 알려지지 않은 엔티티 모두에 대해 거부율을 단조롭게 제어할 수 있습니다.
  • 보정된 친숙도 프로브는 생성 전 abstention 게이트로 경쟁력이 있지만, 행동 오류 예측에는 생성 후 검출기가 더 우수합니다.

이 결과는 계층적 생성 전 엔티티 친숙도 판독의 존재를 지지하며, 표현적 친숙도와 이를 abstention으로 변환하는 정책 간의 분리를 강조합니다.