Pesquisadores propõem o Pooling de Médias Riemannianas (RMP), um método que extrai métricas de pullback por token do Jacobiano de um codificador e as agrega usando a média de Fréchet na variedade de matrizes definidas positivas simétricas. Esta abordagem visa entender se o sinal de classificação em nível de sentença reside na geometria riemanniana dos embeddings contextuais de tokens.
- O RMP supera o pooling de médias euclidianas em três conjuntos de dados com estrutura linguística não trivial: CoLA, CREAK e RTE.
- No FEVER-Symmetric, um benchmark projetado para remover artefatos léxicos orientados por anotações, o método permanece corretamente no nível do acaso.
- Ablações indicam que a inicialização aleatória combinada com agregação de Fréchet supera o pooling euclidiano em dois dos três conjuntos de dados portadores de sinal.
- O codificador treinado contribui com sinal adicional especificamente no CREAK, que é identificado como o conjunto de dados mais pesado em conhecimento entre os três.
O estudo localiza o ganho de desempenho no método de agregação geométrica em vez da estrutura de variedade aprendida, demonstrando que a geometria riemanniana captura efetivamente sinais de classificação nos embeddings de modelos de linguagem pré-treinados.