네 개의 폴란드어 Bielik 모델(1.5B-11B 파라미터)에 대한 연구는 비지도 활성화 분산 측정이 어떤 답변 토큰도 생성되기 전에 알려진 엔티티와 조작된 엔티티를 구별할 수 있음을 보여줍니다. SwiGLU 이후 MLP 활성화에 역참여비와 스펙트럴 엔트로피를 사용하여 연구진은 운동선수, 도시, 작가, 음악가 도메인 전반에 걸쳐 0.95-1.00의 AUROC 점수를 달성했습니다.

  • 이 신호는 천장 성능에서 알려진 엔티티와 조작된 엔티티를 분리하며, 홀드아웃 레이어 선택을 견디고 평균 대각선 외 AUROC가 0.92-0.99인 엔티티 유형 간 전이성을 보입니다.
  • 친숙함에 대한 표현적 신호는 1.5B 파라미터에서 천장에 도달하는 반면, 행동적 사실적 신뢰도는 급격히 스케일링되며 모델 크기가 증가함에 따라 정답 개수가 0에서 19로 증가합니다.
  • 알려진 엔티티 내에서 정답과 환각을 분리하는 것은 여전히 어렵습니다. 분산은 첫 번째 토큰 엔트로피 기준선보다 더 나은 성능을 보이지 않습니다.
  • 엔티티 친숙성에 대한 내부 인식이 있음에도 불구하고 모델은 거의 항상 답변을 거부하지 않습니다. 감사 결과 2,520개의 답변 중 거부는 두 번, 유보적 표현은 한 번만 발견되었습니다.

이 결과는 엔티티 친숙성과 사실적 신뢰도가 다른 스케일링 곡선을 따르는 별개의 현상임을 나타내며, 추가 메커니즘 없이 내부 활성화 신호만으로는 환각을 방지하기에 충분하지 않을 수 있음을 시사합니다.