Pesquisadores apresentam o LACUNA, a primeira plataforma de testes de esquecimento com localização em nível de parâmetros com ground-truth para abordar a lacuna na avaliação de se o esquecimento realmente apaga o conhecimento dos parâmetros do modelo. A plataforma injeta PII de indivíduos sintéticos em parâmetros predefinidos de modelos baseados em OLMo de 1B e 7B por meio de pré-treinamento contínuo mascarado.
- O LACUNA permite a avaliação direta de se o esquecimento visa os pesos responsáveis pelo armazenamento de conhecimento.
- A avaliação mostra que os métodos SOTA atuais são altamente imprecisos, apesar do forte desempenho em nível de saída.
- Métodos existentes permanecem suscetíveis a ataques de ressurgimento mesmo quando parecem eficazes em nível de saída.
- Uma localização bem-sucedida permite que o esquecimento baseado em gradiente simples alcance forte apagamento e robustez.
Os autores lançam o LACUNA para complementar avaliações comportamentais e impulsionar avanços adicionais no esquecimento robusto e baseado em localização.