Um estudo desafia a abordagem predominante de entrada-saída para o viés de pontuação do LLM-as-Judge, demonstrando que os vieses estão codificados na geometria das ativações ocultas do modelo. Os autores analisam sete juízes em nove benchmarks e identificam um subespaço de baixa dimensão e específico por tipo onde as entradas tendenciosas são deslocadas.
- As entradas de julgamento base ocupam uma variedade de ativação compacta, enquanto as entradas tendenciosas se deslocam ao longo de um subespaço que se torna mais agudo com a profundidade da rede.
- Direcionar os estados ocultos ao longo deste subespaço específico impulsiona causalmente a pontuação em ambas as direções, enquanto direções aleatórias produzem efeitos desprezíveis.
- Uma projeção linear sobre esses recursos de direção de viés antecipa com precisão as falhas do juiz em três benchmarks não vistos, superando métodos baseados em texto.
Ler o viés como geometria de ativação unifica estrutura geométrica, controle causal e previsão operacional dentro de uma única estrutura para entender o comportamento de julgamento do LLM.