연구자들은 Self-Consistency와 같은 표준 디코딩 전략의 결함을 해결하기 위해 불확실성 정량화(UQ)를 포괄적인 추론 충실도 문제로 재구성하는 그래프 기반 프레임워크인 GRAPHEVAL을 소개했습니다. 이 연구는 의미적·구조적 합의를 정량화하고 병리적 모드 붕괴와 확신 있는 환각을 포착하는 지표인 Graph Reasoning Coherence Score (GRCS)를 제안합니다.
- GRCS는 더 강력한 모델과 작은 모델 모두에서 추론 충실도와 일관되게 음의 상관관계를 보이는 유일한 지표로 확인되었습니다.
- 이 프레임워크는 명목상 정확도와 추론 충실도 간 트레이드오프를 제공하는 메디안 기반 디코딩 전략인 Graph Self-Consistency (GSC)를 도입합니다.
- GSC는 작은 모델에서 Self-Consistency가 비충실한 행운의 추측에 의해 부풀려지는 반면, 더 강력한 모델에서는 정확도를 유지하거나 향상시킨다는 점을 드러냅니다.
- 적대적 메디안 아블레이션은 GSC가 선택한 경로가 "하중 지지 경로"로 작용하며, 모델을 그 경로에서 벗어나게 강제하면 추론 충실도가 저하되고 정확도가 떨어짐을 보여줍니다.
저자들은 이를 중요한 것으로 간주합니다. 이는 단순 다수결 투표와 비교하여 더 충실한 추론을 선택할 수 있는 방법을 제공하고, 표준 평가 방법에서 비충실한 추론의 정도를 드러내기 때문입니다.