Los investigadores han presentado LACUNA, el primer banco de pruebas de olvido que cuenta con una localización a nivel de parámetros con referencia verdadera para abordar las limitaciones de los benchmarks existentes que evalúan el olvido únicamente a nivel de salida. El banco de pruebas inyecta información personal sintética en parámetros predefinidos de modelos basados en OLMo de 1B y 7B mediante preentrenamiento continuo enmascarado, permitiendo una evaluación directa de si los métodos de olvido se dirigen a los pesos específicos responsables del almacenamiento de conocimientos.
- LACUNA permite evaluar la precisión de localización utilizando individuos sintéticos inyectados en los parámetros del modelo OLMo.
- Los benchmarks revelan que los métodos de última generación son altamente imprecisos y susceptibles a ataques de reaparición a pesar de su fuerte rendimiento a nivel de salida.
- El estudio demuestra que una localización exitosa permite incluso a métodos de olvido basados en gradientes simples lograr un borrado sólido y robustez.
Los autores publican LACUNA para complementar las evaluaciones conductuales e impulsar avances adicionales en el olvido basado en localización y robusto.