Un estudio propone un marco de auditoria causal para evaluar la eliminación factual en Modelos de Lenguaje con Memoria Limitada (LMLMs), que externalizan el conocimiento a bases de datos para el desprendimiento. El marco aísla la fuga paramétrica de la corrección mediada por recuperación y artefactos variando los estados de la base de datos durante la inferencia.
- Los autores probaron 12,228 eliminaciones de cierre de alias en trece bases de datos con cuatro topologías adversarias y seis formulaciones de prompt.
- Se encontró que la fuga paramétrica era cercana a cero, lo que significa que el modelo raramente devuelve respuestas eliminadas sin recuperación.
- El conocimiento residual persiste principalmente a través de la recuperación de vecinos cercanos, con tasas que van del 0.7% al 13.6% dependiendo de la topología de la base de datos.
- La formulación del prompt no controló independientemente la supervivencia de los hechos eliminados.
Los resultados indican que para esta clase de LMLM, la efectividad del desprendimiento está determinada por la gestión del grafo de recuperación por parte del administrador de la base de datos en lugar de los parámetros internos del modelo.