Um estudo preregistrado introduz o PoPE (Popperian Placebo-controlled Evaluation) para testar se informações específicas do erro ajudam LLMs pequenos de código congelados a reparar seus próprios erros. A metodologia empareilha contraexemplos de execução com placebos específicos por canal para isolar o efeito do conteúdo do erro da estrutura de suporte tanto nos canais de prompt quanto de peso.
- No canal de prompt, 12 unidades foram desbloqueadas sob um placebo de forma ablativa de conteúdo comparado a 10 sob o braço de padrão de erro vivo em uma banda resistente de 40 unidades, resultando em uma descoberta nula do mecanismo.
- No canal de peso usando treinamento de adaptador com dados pequenos, foi observado um empate 8-8 entre o adaptador de conteúdo do erro e a linha de base sem intervenção (p=1.0).
- O adaptador placebo SHA-deranged permaneceu à frente com 10 desbloqueios, enquanto a superioridade atribuível ao conteúdo não foi confirmada.
As descobertas indicam que quando a representação aprendida do oráculo é escrita de volta no estado de geração, o teste é substituído por condicionamento em vez de autorreparação operacional.