Un estudio desafía el enfoque predominante de entrada-salida para la evaluación del sesgo de LLM-as-Judge, demostrando que los sesgos están codificados en la geometría de las activaciones ocultas del modelo. Los autores analizan siete jueces en nueve benchmarks e identifican un subespacio de baja dimensión y específico por tipo donde se desplazan las entradas sesgadas.
- Las entradas de juicio base ocupan una variedad de activación compacta, mientras que las entradas sesgadas se desplazan a lo largo de un subespacio que se agudiza con la profundidad de la red.
- Dirigir los estados ocultos a lo largo de este subespacio específico impulsa causalmente la puntuación en ambas direcciones, mientras que las direcciones aleatorias producen efectos insignificantes.
- Una proyección lineal sobre estas características de dirección de sesgo anticipa con precisión los fallos del juez en tres benchmarks no vistos, superando a los métodos basados en texto.
Leer el sesgo como geometría de activación unifica la estructura geométrica, el control causal y la predicción operativa dentro de un solo marco para comprender el comportamiento de juicio de LLM.