Les chercheurs présentent LACUNA, la première plateforme d'oubli comportant une localisation au niveau des paramètres avec vérité terrain, afin de combler le manque dans l'évaluation de la capacité de l'oubli à effacer véritablement les connaissances des paramètres du modèle. La plateforme injecte des données personnelles identifiables (PII) d'individus synthétiques dans des paramètres prédéfinis de modèles basés sur OLMo de 1B et 7B via un pré-entraînement continu masqué.
- LACUNA permet une évaluation directe de la capacité de l'oubli à cibler les poids responsables du stockage des connaissances.
- Le benchmarking révèle que les méthodes SOTA actuelles sont très imprécises malgré leurs performances solides au niveau de la sortie.
- Les méthodes existantes restent vulnérables aux attaques de résurgence même lorsqu'elles semblent efficaces au niveau de la sortie.
- Une localisation réussie permet à un oubli basé sur les gradients d'atteindre une effacement fort et une robustesse.
Les auteurs publient LACUNA pour compléter les évaluations comportementales et stimuler de nouvelles avancées dans l'oubli robuste et basé sur la localisation.