Los investigadores presentan LACUNA, la primera plataforma de pruebas de olvido que cuenta con una localización a nivel de parámetros con ground-truth para abordar la brecha en la evaluación de si el olvido realmente borra el conocimiento de los parámetros del modelo. La plataforma inyecta PII de individuos sintéticos en parámetros predefinidos de modelos basados en OLMo de 1B y 7B mediante preentrenamiento continuo enmascarado.
- LACUNA permite la evaluación directa de si el olvido se dirige a los pesos responsables del almacenamiento de conocimiento.
- La evaluación muestra que los métodos SOTA actuales son altamente imprecisos a pesar de su fuerte rendimiento a nivel de salida.
- Los métodos existentes siguen siendo susceptibles a ataques de resurgimiento incluso cuando parecen efectivos a nivel de salida.
- Una localización exitosa permite que el olvido basado en gradientes simples logre un borrado fuerte y robustez.
Los autores publican LACUNA para complementar las evaluaciones conductuales e impulsar avances adicionales en el olvido robusto y basado en localización.