Os pesquisadores introduziram o LACUNA, o primeiro ambiente de teste de esquecimento com localização em nível de parâmetro baseada em ground-truth para abordar as limitações dos benchmarks existentes que avaliam o esquecimento apenas no nível de saída. O ambiente injeta informações pessoais sintéticas em parâmetros predefinidos de modelos baseados em OLMo de 1B e 7B por meio de pré-treinamento contínuo mascarado, permitindo uma avaliação direta de se os métodos de esquecimento visam os pesos específicos responsáveis pelo armazenamento de conhecimento.
- O LACUNA permite a avaliação da precisão de localização usando indivíduos sintéticos injetados nos parâmetros do modelo OLMo.
- Os benchmarks revelam que os métodos de última geração são altamente imprecisos e suscetíveis a ataques de ressurgimento, apesar de seu forte desempenho no nível de saída.
- O estudo demonstra que uma localização bem-sucedida permite que até mesmo métodos simples baseados em gradiente alcancem um apagamento robusto e resistência.
Os autores lançam o LACUNA para complementar avaliações comportamentais e impulsionar avanços adicionais no esquecimento baseado em localização e robusto.