Les chercheurs introduisent les Knowledge--''Less'' Language Models (KLLMs), un paradigme d'entraînement qui anonymise les entités nommées pendant le pré-entraînement pour éloigner les modèles du rappel paramétrique et les orienter vers un raisonnement ancré dans les preuves.
- Les KLLMs sont pré-entraînés sur des corpus avec des entités nommées anonymisées, supprimant la supervision factuelle liée aux entités.
- Cette intervention réduit considérablement le rappel factuel en livre fermé tout en améliorant les performances sur les tâches où l'information est fournie comme contexte.
- À différentes échelles, les KLLMs surpassent les modèles de base sur les benchmarks de réponse aux questions contextuelles, de vérification des faits et de détection d'hallucinations.
- Dans des configurations ancrées dans la récupération avec des preuves imparfaites, les KLLMs atteignent des gains relatifs allant jusqu'à 20--25 % par rapport aux modèles de langage standard.
- Les modèles présentent une meilleure calibration (ECE amélioré, score de Brier, AUROC) et un comportement d'abstention plus fiable.
Les résultats démontrent que la suppression de la supervision liée aux entités induit un changement de comportement épistémique, amenant les KLLMs à s'appuyer moins sur les connaissances paramétriques et davantage sur des preuves externes pour une fiabilité accrue.