O ajuste fino de grandes modelos de linguagem frequentemente resulta em uma "Lacuna de Saber-Usar", onde os modelos memorizam novos fatos, mas falham ao aplicá-los em tarefas de raciocínio subsequentes. Para investigar isso, os pesquisadores introduziram uma técnica chamada auto-correção para monitorar a dinâmica de permeação espacial do conhecimento dentro do modelo.
O estudo identifica que as representações memorizadas podem existir internamente, mas não são roteadas para camadas eficazes computacionalmente, apoiando a hipótese de desalinhamento de circuitos de conhecimento. A auto-correção localiza locais de ativação onde realocar as representações melhora casos de generalização falha. Uma estratégia heurística baseada nessas descobertas recupera 58--75% da melhoria potencial na generalização.
Essa abordagem diagnóstica ajuda a explicar por que o conhecimento memorizado não se generaliza e oferece um método para recuperar ganhos significativos de desempenho durante o ajuste fino do modelo.