한 연구는 LLM-as-Judge 점수화 편향에 대한 기존 입력-출력 접근 방식을 도전하며, 편향이 모델의 은닉 활성화 기하학에 인코딩되어 있음을 입증했습니다. 저자들은 9개의 벤치마크에 걸쳐 7명의 판사를 분석하고, 편향된 입력이 변위되는 저차원 및 유형별 부분 공간을 식별했습니다.

  • 기준점 판정 입력은 조밀한 활성화 다양체를 차지하는 반면, 편향된 입력은 네트워크 깊이에 따라 날카로워지는 부분 공간을 따라 이동합니다.
  • 이 특정 부분 공간을 따라 은닉 상태를 조종하면 점수화가 양방향으로 인과적으로 구동되는 반면, 무작위 방향은 무시할 수 있는 효과만 생성합니다.
  • 이러한 편향 방향 특징에 대한 선형 투영은 보지 못한 3개의 벤치마크에서 판사의 실패를 정확하게 예측하여 텍스트 기반 방법보다 우수합니다.

편향을 활성화 기하학으로 읽는 것은 LLM 판정 행동을 이해하기 위한 단일 프레임워크 내에서 기하학적 구조, 인과적 제어 및 운영적 예측을 통합합니다.