Pesquisadores desemaranharam com sucesso as representações internas do conhecimento de solvabilidade matemática e da verbalização dentro de grandes modelos de linguagem, mostrando que são codificadas como vetores distintos e linearmente decodificáveis. O estudo revela que a fabricação do modelo é impulsionada principalmente por mudanças na verbalização, em vez do conhecimento subjacente.

  • Conhecimento e verbalização são identificados como direções latentes separadas nos estados ocultos do modelo em múltiplos LLMs.
  • A fabricação correlaciona-se com deslocamentos nas representações de verbalização, em vez do conhecimento central de solvabilidade.
  • O uso de pistas de não solvabilidade no prompt reduz a fabricação ao deslocar a direção da verbalização.
  • O direcionamento de ativação pode manipular mecanicamente essas representações para melhorar a abstenção do modelo.

Este trabalho permite a análise e manipulação independentes das crenças de solvabilidade, habilitando um controle mais eficaz sobre quando os modelos devem se abster de responder.