Bielik 연구는 활성화 분산이 엔터티 친숙함과 사실적 신뢰도를 분리함을 보여줌

네 개의 폴란드어 Bielik 모델(1.5B-11B 파라미터)에 대한 연구는 비지도 활성화 분산 측정이 어떤 답변 토큰도 생성되기 전에 알려진 엔터티와 위조된 엔터티를 높은 정확도로 구분할 수 있음을 보여줍니다.

• SwiGLU 이후 MLP 활성화에 대한 역참여비 및 스펙트럴 엔트로피는 모든 도메인과 규모에서 AUROC 0.95-1.00으로 알려진 엔터티와 위조된 엔터티를 분리합니다.
• 이 신호는 엔터티 유형 간에 전달되고, 홀드아웃 레이어 선택을 견디며, 실제 이름에서도 AUROC 0.96-1.00으로 지속됩니다.
• 표현적 신호가 1.5B 파라미터에서 최고 성능에 도달하는 반면, 행동적 사실적 신뢰도는 급격히 확장되며, 모델 크기가 커짐에 따라 정답이 42개 중 0개에서 19개로 증가합니다.
• 이러한 내부 인식에도 불구하고 모델은 거의 절대적으로 거부하지 않습니다. 감사 결과 2,520개의 답변 중 거부는 단 두 건, 유보적 표현은 한 건뿐이었습니다.

이 결과는 엔터티 친숙함과 사실적 신뢰도가 서로 다른 확장 곡선에서 작동하는 별개의 현상임을 시사하며, 내부 활성화 신호가 행동적 정확도와 직접적으로 상관관계가 있다는 가정에 도전합니다.