Un estudio examina las activaciones en el último token del prompt en doce modelos ajustados para instrucciones de las familias Bielik, PLLuM, Gemma-4 y Qwen3 para determinar si pueden estimar la familiaridad con una entidad antes de generar una respuesta. Utilizando un conjunto de datos de 1.440 entidades polacas, los investigadores encontraron que las puntuaciones de la sonda de familiaridad separan eficazmente las entidades reales de las fabricadas en todas las familias de modelos.
- Las puntuaciones de la sonda de familiaridad siguen la popularidad de las entidades en los modelos Bielik y PLLuM adaptados al polaco (Spearman ρ 0,28-0,57), un patrón menos evidente en Gemma-4 y Qwen3.
- Las sondas retienen el 96-101% del AUROC dentro del idioma cuando la estructura de la pregunta se cambia del polaco al inglés, demostrando robustez ante el idioma del prompt.
- En Gemma-4-12B, añadir una dirección de familiaridad unidimensional en una sola capa permite un control monótono sobre las tasas de rechazo tanto para entidades conocidas como desconocidas.
- Las sondas de familiaridad calibradas son competitivas como puertas de abstención pre-generación, aunque los detectores post-generación predicen mejor el error conductual.
Los resultados apoyan la existencia de lecturas graduales de familiaridad de entidades pre-generación y destacan una separación entre la familiaridad representacional y la política que la convierte en abstención.