Uma investigação causal do vocabulário-logit steering no modelo Qwen2-1.5B revela que as maiores coordenadas no vetor de steering não são necessariamente responsáveis pelos efeitos comportamentais observados. O estudo, conduzido por ntrillard, analisa como o sparse ranked logit steering influencia a geração de tokens e identifica os componentes estruturais específicos que impulsionam essas mudanças.
- Transport (geração de palavras-alvo) aparece em torno de K≈150 e persiste até K≈300, com K=200 sendo o ponto de máximo alinhamento, mas não um ótimo comportamental único.
- A projeção pura row(W) (λ=1) mostra zero transport através de 30 seeds, enquanto cada condição λ<1 retém um componente out-of-row não nulo e exibe algum transport.
- O efeito é identificado como lexical forcing em vez de semantic transport; impulsionar os top-200 vizinhos lexicais resulta em 27/30 transport, enquanto vizinhos semânticos não impulsionados resultam em 0/30.
- Deletar a única maior coordenada não elimina o efeito, indicando que não existe uma única coordenata load-bearing no vetor de steering.
- Recalcular o vetor dinamicamente por prefixo ou self-context muda pouco o vetor e não melhora o desempenho em relação aos vetores estáticos.
Os resultados sugerem que a interação entre identidade da coordenada e magnitude classificada é crítica para o sucesso do steering, desafiando suposições sobre quais componentes do vetor impulsionam o comportamento do modelo.