Pesquisadores apresentam o LACUNA, a primeira bancada de testes de esquecimento com localização em nível de parâmetro de verdade fundamental para avaliar se o esquecimento do modelo realmente apaga o conhecimento ou apenas o ofusca. A bancada injeta informações pessoalmente identificáveis sintéticas em parâmetros predefinidos de modelos baseados em OLMo de 1B e 7B por meio de pré-treinamento contínuo mascarado.
- O LACUNA permite a avaliação direta de se os métodos de esquecimento visam os pesos específicos responsáveis pelo armazenamento do conhecimento.
- A avaliação comparativa revela que os métodos de última geração são altamente imprecisos e suscetíveis a ataques de ressurgimento, apesar do forte desempenho em nível de saída.
- O estudo demonstra que uma localização bem-sucedida permite que até mesmo métodos simples baseados em gradiente alcancem um apagamento robusto e resistência contra o ressurgimento.
Os autores lançam o LACUNA para complementar avaliações comportamentais e impulsionar avanços adicionais no esquecimento baseado em localização e robusto.