研究人员提出了黎曼平均池化（RMP），该方法从编码器的雅可比矩阵中提取每个令的拉回度量，并在对称正定流形上使用弗雷歇均值进行聚合。该方法旨在理解句子级分类信号是否存在于上下文令嵌入的黎曼几何中。

  • RMP 在具有非平凡语言结构的三个数据集上优于欧几里得平均池化：CoLA、CREAK 和 RTE。
  • 在旨在消除标注驱动的词汇伪影的基准测试 FEVER-Symmetric 上，该方法正确地保持在随机水平。
  • 消融实验表明，随机初始化结合弗雷歇聚合在三个含信号数据集中的两个上优于欧几里得池化。
  • 训练好的编码器在 CREAK 上贡献了额外的信号，CREAK 被识别为这三个数据集中知识最密集的数据集。

该研究将性能提升定位到几何聚合方法而非学习的流形结构，证明了黎曼几何有效地捕获了预训练语言模型嵌入中的分类信号。