Um estudo com quatro modelos poloneses do Bielik (1,5B-11B parâmetros) demonstra que medidas de dispersão de ativação não supervisionadas podem distinguir entidades conhecidas das fabricadas antes que qualquer token de resposta seja gerado. Usando razão de participação inversa e entropia espectral nas ativações da MLP pós-SwiGLU, os pesquisadores alcançaram pontuações AUROC de 0,95-1,00 nos domínios de atletas, cidades, escritores e músicos.
- O sinal separa entidades conhecidas das fabricadas com desempenho no teto, sobrevivendo à seleção de camadas não vistas e transferindo-se entre tipos de entidade com AUROC off-diagonal médio de 0,92-0,99.
- Embora o sinal representacional para a familiaridade atinja o teto em 1,5B parâmetros, a confiabilidade factual comportamental escala abruptamente, com contagens de respostas corretas subindo de 0 para 19 à medida que o tamanho do modelo aumenta.
- Separar respostas corretas das alucinações dentro de entidades conhecidas permanece difícil, com a dispersão não performando melhor do que uma linha de base de entropia do primeiro token.
- Apesar dessa consciência interna da familiaridade da entidade, os modelos quase nunca se abstêm de responder; uma auditoria encontrou apenas duas recusas e um hedge em 2.520 respostas.
Os resultados indicam que a familiaridade da entidade e a confiabilidade factual são fenômenos distintos seguindo curvas de escala diferentes, sugerindo que sinais de ativação interna sozinhos podem não ser suficientes para prevenir alucinações sem mecanismos adicionais.