Los investigadores presentan Modelos de Lenguaje 'Menos Conocidos' (KLLMs), un paradigma de entrenamiento que anonimiza entidades nombradas durante el preentrenamiento para desviar a los modelos del recuerdo paramétrico hacia el razonamiento fundamentado en evidencias.
- Los KLLMs se preentrenan en corpus con entidades nombradas anonimizadas, eliminando la supervisión factual vinculada a entidades.
- Esta intervención reduce sustancialmente el recuerdo factual de libro cerrado mientras mejora el rendimiento en tareas donde la información se proporciona como contexto.
- En múltiples escalas, los KLLMs superan a las líneas base en benchmarks de respuesta contextual a preguntas, verificación de hechos y detección de alucinaciones.
- En configuraciones fundamentadas en recuperación con evidencias imperfectas, los KLLMs logran ganancias relativas de hasta 20--25% sobre los modelos de lenguaje estándar.
- Los modelos exhiben una mejor calibración (ECE mejorado, Brier score, AUROC) y un comportamiento de abstención más confiable.
Los resultados demuestran que suprimir la supervisión vinculada a entidades induce un cambio en el comportamiento epistémico, haciendo que los KLLMs dependan menos del conocimiento paramétrico y más de las evidencias externas para una mayor fiabilidad.