Los investigadores presentan LACUNA, el primer banco de pruebas de olvido que cuenta con una localización a nivel de parámetros con verdad fundamental para evaluar si el olvido del modelo realmente borra el conocimiento o simplemente lo ofusca. El banco de pruebas inyecta información personalmente identificable sintética en parámetros predefinidos de modelos basados en OLMo de 1B y 7B mediante preentrenamiento continuo enmascarado.
- LACUNA permite la evaluación directa de si los métodos de olvido se dirigen a los pesos específicos responsables del almacenamiento del conocimiento.
- La evaluación comparativa revela que los métodos de última generación son altamente imprecisos y susceptibles a ataques de reaparición a pesar de su fuerte rendimiento a nivel de salida.
- El estudio demuestra que una localización exitosa permite que incluso los métodos simples basados en gradientes logren un borrado sólido y robustez contra la reaparición.
Los autores publican LACUNA para complementar las evaluaciones conductuales y impulsar avances adicionales en el olvido basado en localización y robusto.