Um estudo de quatro modelos poloneses de Bielik (1.5B-11B parâmetros) demonstra que medidas de dispersão de ativação não supervisionadas podem distinguir entidades conhecidas das fabricadas com alta precisão antes que qualquer token de resposta seja gerado.
- A razão de participação inversa e a entropia espectral sobre as ativações MLP pós-SwiGLU separam entidades conhecidas de fabricadas com AUROC 0.95-1.00 em todos os domínios e escalas.
- O sinal é transferido entre tipos de entidades, sobrevive à seleção de camadas não vistas e persiste em nomes reais com um AUROC de 0.96-1.00.
- Embora o sinal representacional atinja o desempenho máximo em 1.5B parâmetros, a confiabilidade factual comportamental escala abruptamente, com respostas corretas aumentando de 0 para 19 de cada 42 à medida que o tamanho do modelo cresce.
- Apesar dessa consciência interna, os modelos quase nunca se abstêm; uma auditoria encontrou apenas duas recusas e um matiz entre 2.520 respostas.
As descobertas indicam que a familiaridade da entidade e a confiabilidade factual são fenômenos distintos operando em curvas de escala diferentes, desafiando a suposição de que os sinais de ativação interna se correlacionam diretamente com a correção comportamental.