Este estudo apresenta uma explicação em nível de representação do viés de pontuação em modelos LLM-as-Judge, analisando os estados ocultos do juiz em vez de apenas perturbações de entrada-saída. Os autores relatam descobertas em sete juízes, sete tipos de viés e nove benchmarks.
- Entradas enviesadas são deslocadas ao longo de um subespaço de baixa dimensão específico do tipo que se torna mais agudo com a profundidade, enquanto as entradas de base ocupam uma variedade de ativação compacta.
- Direcionar os estados ocultos ao longo deste subespaço impulsiona a pontuação em ambas as direções, enquanto direções aleatórias produzem deslocamentos uma ordem de magnitude menores.
- Uma projeção linear sobre características de direção de viés antecipa falhas do juiz em três benchmarks não vistos, superando substancialmente alternativas baseadas em texto.
Ler o viés como geometria de ativação unifica estrutura geométrica, controle causal e previsão operacional dentro de uma única estrutura.