Uma nova estrutura teórica explica o surgimento de habilidades de raciocínio indutivo em modelos de linguagem Transformer ao estudar uma classe generalizada de tarefas indutivas que unifica tarefas sintéticas como n-gramas no contexto e raciocínio multi-salto.
- A dinâmica de treinamento de modelos de atenção é confinada a uma variedade invariante de baixa dimensão altamente interpretável.
- A dinâmica de aprendizado nesta variedade é capturada por um punhado de coordenadas interpretáveis em vez de milhões de parâmetros.
- A estrutura caracteriza como as estatísticas dos dados governam a competição entre o aprendizado no contexto e nos pesos.
- Inicializações aleatórias determinam o circuito 'vencedor' quando múltiplas soluções são possíveis.
- O quadro de coordenadas associado à variedade pode ser usado para detectar automaticamente quais circuitos foram aprendidos em modelos treinados.
Ao formular a formação de circuitos como um fenômeno dinâmico de baixa dimensão, este trabalho dá um passo em direção a uma teoria preditiva de como os Transformers aprendem.