연구자들은 인코더의 야코비안에서 토큰별 푸백 계량을 추출하고 대칭 양수 정의 다양체 위에서 프레셰 평균을 사용하여 집계하는 방법인 리만 평균 풀링(RMP)을 제안합니다. 이 접근 방식은 문장 수준의 분류 신호가 문맥화된 토큰 임베딩의 리만 기하학에 존재하는지 이해하는 것을 목표로 합니다.

  • RMP는 CoLA, CREAK, RTE라는 비자명한 언어 구조를 가진 세 데이터셋에서 유클리드 평균 풀링보다 우수합니다.
  • 주석 주도형 어휘 아티팩트를 제거하도록 설계된 벤치마크인 FEVER-Symmetric에서는该方法이 올바르게 무작위 수준에 머무릅니다.
  • 아블레이션 연구는 랜덤 초기화와 프레셰 집계가 신호를 가진 세 데이터셋 중 두 개에서 유클리드 풀링보다 우수함을 시사합니다.
  • 학습된 인코더는 특히 CREAK에서 추가적인 신호를 제공하며, 이는 세 데이터셋 중 가장 지식 밀도가 높은 것으로 식별되었습니다.

이 연구는 성능 향상이 학습된 다양체 구조가 아닌 기하학적 집계 방법에 국한됨을 보여주며, 리만 기하학이 사전 훈련된 언어 모델 임베딩에서 분류 신호를 효과적으로 포착함을 입증합니다.