Un estudio de cuatro modelos polacos de Bielik (1.5B-11B parámetros) demuestra que las medidas de dispersión de activaciones no supervisadas pueden distinguir entidades conocidas de fabricadas antes de que se genere cualquier token de respuesta. Utilizando el ratio de participación inversa y la entropía espectral en las activaciones del MLP post-SwiGLU, los investigadores lograron puntuaciones AUROC de 0.95-1.00 en los dominios de atletas, ciudades, escritores y músicos.
- La señal separa entidades conocidas de fabricadas con un rendimiento máximo, sobreviviendo a la selección de capas no vistas y transfiriéndose entre tipos de entidades con una media de AUROC fuera de la diagonal de 0.92-0.99.
- Aunque la señal representacional para la familiaridad alcanza el techo en 1.5B parámetros, la fiabilidad factual conductual escala bruscamente, con el conteo de respuestas correctas aumentando de 0 a 19 a medida que aumenta el tamaño del modelo.
- Separar las respuestas correctas de las alucinadas dentro de entidades conocidas sigue siendo difícil, con la dispersión no superando una línea base de entropía del primer token.
- A pesar de esta conciencia interna de la familiaridad de las entidades, los modelos casi nunca se abstienen de responder; una auditoría encontró solo dos rechazos y un matiz en 2,520 respuestas.
Los hallazgos indican que la familiaridad de las entidades y la fiabilidad factual son fenómenos distintos que siguen curvas de escalado diferentes, sugiriendo que las señales de activación internas por sí solas pueden no ser suficientes para prevenir alucinaciones sin mecanismos adicionales.