Um estudo propõe um framework de auditoria causal para avaliar a exclusão factual em Modelos de Linguagem com Memória Limitada (LMLMs), que externalizam o conhecimento para bancos de dados para desprendimento. O framework isola o vazamento paramétrico da correção mediada por recuperação e artefatos variando os estados do banco de dados durante a inferência.
- Os autores testaram 12,228 exclusões de fechamento de alias em treze bancos de dados com quatro topologias adversariais e seis formulações de prompt.
- O vazamento paramétrico foi encontrado próximo de zero, significando que o modelo raramente retorna respostas excluídas sem recuperação.
- O conhecimento residual persiste principalmente através da recuperação de vizinhos próximos, com taxas variando de 0.7% a 13.6% dependendo da topologia do banco de dados.
- A formulação do prompt não controlou independentemente a sobrevivência dos fatos excluídos.
Os resultados indicam que para esta classe de LMLM, a eficácia do desprendimento é determinada pela gestão do grafo de recuperação pelo administrador do banco de dados em vez dos parâmetros internos do modelo.