Les chercheurs ont introduit LACUNA, le premier banc d'essai d'oubli présentant une localisation au niveau des paramètres avec vérité terrain, afin de pallier les limites des benchmarks existants qui évaluent l'oubli uniquement au niveau de la sortie. Le banc d'essai injecte des informations personnellement identifiables synthétiques dans des paramètres prédéfinis de modèles basés sur OLMo de 1B et 7B via un pré-entraînement continu masqué, permettant une évaluation directe de la capacité des méthodes d'oubli à cibler les poids spécifiques responsables du stockage des connaissances.
- LACUNA permet l'évaluation de la précision de localisation en utilisant des individus synthétiques injectés dans les paramètres du modèle OLMo.
- Le benchmarking révèle que les méthodes de pointe sont très imprécises et sensibles aux attaques de résurgence, malgré une performance solide au niveau de la sortie.
- L'étude démontre qu'une localisation réussie permet même à des méthodes d'oubli simples basées sur le gradient d'atteindre une effacement fort et une robustesse.
Les auteurs publient LACUNA pour compléter les évaluations comportementales et stimuler de nouvelles avancées dans l'oubli basé sur la localisation et robuste.