Pesquisadores identificaram em Llama-3.1-70B-Instruct um «subcircuito de contagem regressiva» que permite que modelos de linguagem rastreiem os tokens restantes em várias tarefas, como escrever sentenças de comprimento fixo ou formatar tabelas.
O estudo isola esse mecanismo em um ambiente controlado e descobre que ele usa um motivo idêntico anteriormente descoberto em outros LLMs de ponta, sugerindo que a estrutura é compartilhada entre modelos. A sondagem não supervisionada em conjuntos de dados de linguagem natural revela que o subcircuito lida com tarefas onde os comprimentos-alvo são inferidos do contexto em vez de serem declarados explicitamente.
Este trabalho demonstra que a engenharia reversa de subcircuitos ajuda a explicar como comportamentos específicos se generalizam a partir de exemplos únicos para diversas tarefas e diferentes modelos.