Um novo estudo identifica a "Lacuna entre Saber e Usar", um fenômeno em que grandes modelos de linguagem memorizam fatos após o ajuste fino, mas falham ao aplicá-los em tarefas de raciocínio subsequentes. Os autores caracterizam essa lacuna por meio de déficits de precisão e atrasos temporais entre a memorização e a generalização.
Os pesquisadores utilizaram uma técnica de intervenção inovadora chamada auto-correção para monitorar a dinâmica de permeação do conhecimento interno durante o ajuste fino com dados não vistos. Este método identifica locais específicos de ativação onde realocar representações melhora significativamente os casos de generalização falha, apoiando a hipótese de que as representações memorizadas existem, mas não são roteadas para camadas computacionalmente eficazes. Para abordar isso, eles projetaram uma estratégia heurística que recupera 58--75% da melhoria potencial de generalização.
Os achados demonstram que o desalinhamento entre o conhecimento armazenado e as vias computacionais é um fator chave nas falhas do ajuste fino, oferecendo uma abordagem diagnóstica para melhorar a utilidade do modelo em diversos domínios.