Pesquisadores introduzem Modelos de Linguagem 'Menos Conhecidos' (KLLMs), um paradigma de treinamento que anonimiza entidades nomeadas durante o pré-treinamento para desviar os modelos da recuperação paramétrica em direção ao raciocínio fundamentado em evidências.
- Os KLLMs são pré-treinados em corpora com entidades nomeadas anonimizadas, removendo a supervisão factual vinculada a entidades.
- Essa intervenção reduz substancialmente a recuperação factual de livro fechado enquanto melhora o desempenho em tarefas onde a informação é fornecida como contexto.
- Em múltiplas escalas, os KLLMs superam as linhas de base em benchmarks de resposta contextual a perguntas, verificação de fatos e detecção de alucinações.
- Em configurações fundamentadas em recuperação com evidências imperfeitas, os KLLMs alcançam ganhos relativos de até 20--25% sobre modelos de linguagem padrão.
- Os modelos exibem melhor calibração (ECE melhorado, Brier score, AUROC) e comportamento de abstenção mais confiável.
Os resultados demonstram que suprimir a supervisão vinculada a entidades induz uma mudança no comportamento epistêmico, fazendo com que os KLLMs dependam menos do conhecimento paramétrico e mais de evidências externas para maior confiabilidade.