Um estudo examina as ativações no último token do prompt em doze modelos ajustados para instruções das famílias Bielik, PLLuM, Gemma-4 e Qwen3 para determinar se eles podem estimar a familiaridade com uma entidade antes de gerar uma resposta. Usando um conjunto de dados com 1.440 entidades polonesas, os pesquisadores descobriram que as pontuações do probe de familiaridade separam efetivamente entidades reais das fabricadas em todas as famílias de modelos.
- As pontuações do probe de familiaridade acompanham a popularidade da entidade nos modelos Bielik e PLLuM adaptados ao polonês (Spearman ρ 0,28-0,57), um padrão menos evidente no Gemma-4 e Qwen3.
- Os probes retêm 96-101% do AUROC dentro do idioma quando o início da pergunta é alterado de polonês para inglês, demonstrando robustez ao idioma do prompt.
- No Gemma-4-12B, adicionar uma direção de familiaridade unidimensional em uma única camada permite controle monótono sobre as taxas de recusa para entidades conhecidas e desconhecidas.
- Probes de familiaridade calibrados são competitivos como gates de abstenção pré-geração, embora detectores pós-geração prevejam melhor o erro comportamental.
Os resultados apoiam a existência de saídas de familiaridade de entidade pré-geração graduadas e destacam uma separação entre a familiaridade representacional e a política que a converte em abstenção.