研究者らは、エンコーダーのヤコビアンからトークンごとのプルバック計量を抽出し、対称正定値多様体上でフレシェ平均を用いて集約する方法であるリーマン平均プーリング（RMP）を提案する。このアプローチは、文レベルの分類信号が文脈化されたトークン埋め込みのリーマン幾何学に存在するかどうかを理解することを目指している。

  • RMPは、CoLA、CREAK、RTEという非自明な言語構造を持つ3つのデータセットにおいて、ユークリッド平均プーリングを上回る。
  • 注釈駆動型の_lexical_アーティファクトを除去するために設計されたベンチマークであるFEVER-Symmetricでは、この方法は正しく確率レベルにとどまる。
  • アブレーションにより、ランダム初期化とフレシェ集約が、信号を持つ3つのデータセットのうち2つでユークリッドプーリングに勝ることが示唆された。
  • 訓練されたエンコーダーは、特にCREAKにおいて追加の信号を提供し、これは3つの中で最も知識依存性の高いデータセットとして特定されている。

本研究は、性能向上が学習された多様体構造ではなく幾何学的集約方法に局在化することを明らかにし、リーマン幾何学が事前学習済み言語モデルの埋め込みにおいて分類信号を効果的に捉えていることを実証した。