Un estudio de cuatro modelos polacos de Bielik (1.5B-11B parámetros) demuestra que las medidas de dispersión de activaciones no supervisadas pueden distinguir entidades conocidas de fabricadas con alta precisión antes de generar cualquier token de respuesta.
- La razón de participación inversa y la entropía espectral sobre las activaciones MLP post-SwiGLU separan entidades conocidas de fabricadas con un AUROC de 0.95-1.00 en todos los dominios y escalas.
- La señal se transfiere entre tipos de entidades, sobrevive a la selección de capas no vistas y persiste en nombres reales con un AUROC de 0.96-1.00.
- Aunque la señal representacional alcanza el rendimiento máximo en 1.5B parámetros, la fiabilidad factual conductual escala bruscamente, aumentando las respuestas correctas de 0 a 19 de cada 42 a medida que crece el tamaño del modelo.
- A pesar de esta conciencia interna, los modelos casi nunca se abstienen; una auditoría encontró solo dos rechazos y un matiz entre 2,520 respuestas.
Los hallazgos indican que la familiaridad de las entidades y la fiabilidad factual son fenómenos distintos que operan en curvas de escalado diferentes, desafiando el supuesto de que las señales de activación interna se correlacionan directamente con la corrección conductual.