Les chercheurs présentent LACUNA, le premier banc d'essai de désapprentissage doté d'une localisation au niveau des paramètres avec vérité terrain, pour évaluer si le désapprentissage des modèles efface véritablement les connaissances ou se contente de les obscurcir. Le banc d'essai injecte des informations personnellement identifiables synthétiques dans des paramètres prédéfinis de modèles basés sur OLMo de 1B et 7B via un pré-entraînement continu masqué.
- LACUNA permet une évaluation directe de la capacité des méthodes de désapprentissage à cibler les poids spécifiques responsables du stockage des connaissances.
- Les benchmarks révèlent que les méthodes les plus avancées sont très imprécises et sensibles aux attaques de résurgence, malgré des performances solides au niveau des sorties.
- L'étude démontre qu'une localisation réussie permet même à des méthodes simples basées sur le gradient d'atteindre une effacement puissant et une robustesse contre la résurgence.
Les auteurs publient LACUNA pour compléter les évaluations comportementales et stimuler de nouvelles avancées dans le désapprentissage robuste basé sur la localisation.