Les chercheurs proposent le Pooling de Moyenne Riemannien (RMP), une méthode qui extrait des métriques pullback par token du Jacobien d'un encodeur et les agrège en utilisant la moyenne de Fréchet sur la variété des matrices définies positives symétriques. Cette approche vise à comprendre si le signal de classification au niveau de la phrase réside dans la géométrie riemannienne des embeddings contextuels des tokens.
- Le RMP surpasse le pooling de moyenne euclidien sur trois ensembles de données présentant une structure linguistique non triviale : CoLA, CREAK et RTE.
- Sur FEVER-Symmetric, un benchmark conçu pour éliminer les artefacts lexiques pilotés par l'annotation, la méthode reste correctement au niveau du hasard.
- Les ablations indiquent que l'initialisation aléatoire combinée à l'agrégation de Fréchet bat le pooling euclidien sur deux des trois ensembles de données porteurs de signal.
- L'encodeur entraîné contribue à un signal supplémentaire spécifiquement sur CREAK, qui est identifié comme l'ensemble de données le plus lourd en connaissances parmi les trois.
L'étude localise le gain de performance dans la méthode d'agrégation géométrique plutôt que dans la structure de variété apprise, démontrant que la géométrie riemannienne capture efficacement les signaux de classification dans les embeddings des modèles de langage pré-entraînés.