Los investigadores proponen el agrupamiento de medias riemannianas (RMP), un método que extrae métricas de pullback por token del Jacobiano de un codificador y las agrega utilizando la media de Fréchet en la variedad de matrices definidas positivas simétricas. Este enfoque busca comprender si la señal de clasificación a nivel de oración reside en la geometría riemanniana de los embeddings contextuales de tokens.
- RMP supera al agrupamiento de medias euclidianas en tres conjuntos de datos con estructura lingüística no trivial: CoLA, CREAK y RTE.
- En FEVER-Symmetric, un benchmark diseñado para eliminar artefactos léxicos impulsados por anotaciones, el método se mantiene correctamente en el azar.
- Las ablaciones indican que la inicialización aleatoria combinada con la agregación de Fréchet supera al agrupamiento euclidiano en dos de los tres conjuntos de datos que contienen señal.
- El codificador entrenado aporta señal adicional específicamente en CREAK, que se identifica como el conjunto de datos más pesado en conocimientos entre los tres.
El estudio localiza la ganancia de rendimiento en el método de agregación geométrica en lugar de en la estructura de la variedad aprendida, demostrando que la geometría riemanniana captura eficazmente las señales de clasificación en los embeddings de modelos de lenguaje preentrenados.