L'audit de l'oubli dans les modèles de langage à mémoire limitée révèle que la récupération est la source principale des connaissances résiduelles

Une étude propose un cadre d'audit causal pour évaluer la suppression factuelle dans les Limited Memory Language Models (LMLMs), qui externalisent les connaissances vers des bases de données pour l'oubli. Le cadre isole la fuite paramétrique de la justesse médiée par la récupération et des artefacts en faisant varier les états de la base de données au moment de l'inférence.

• Les auteurs ont testé 12,228 suppressions de fermeture d'alias sur treize bases de données avec quatre topologies adversariales et six formulations de prompt.
• La fuite paramétrique s'est révélée proche de zéro, ce qui signifie que le modèle retourne rarement des réponses supprimées sans récupération.
• Les connaissances résiduelles persistent principalement par la récupération de voisins proches, avec des taux variant de 0,7 % à 13,6 % selon la topologie de la base de données.
• La formulation du prompt n'a pas contrôlé indépendamment la survie des faits supprimés.

Les résultats indiquent que pour cette classe de LMLM, l'efficacité de l'oubli est déterminée par la gestion du graphe de récupération par l'administrateur de la base de données plutôt que par les paramètres internes du modèle.