Исследователи предлагают метод Риманова среднее пулирование (RMP), который извлекает метрики обратного образа для каждого токена из якобиана энкодера и агрегирует их с помощью среднего Фреше на многообразии симметричных положительно определённых матриц. Этот подход направлен на выяснение того, содержится ли сигнал классификации на уровне предложений в римановой геометрии контекстуальных эмбеддингов токенов.
- RMP превосходит евклидово среднее пулирование на трёх наборах данных со нетривиальной лингвистической структурой: CoLA, CREAK и RTE.
- На FEVER-Symmetric, бенчмарке, предназначенном для устранения аннотационно-управляемых лексических артефактов, метод корректно остаётся на уровне случайного угадывания.
- Абляции показывают, что случайная инициализация в сочетании с агрегацией Фреше превосходит евклидово пулирование на двух из трёх наборов данных, содержащих сигнал.
- Обученный энкодер добавляет дополнительный сигнал именно для CREAK, который идентифицируется как самый насыщенный знаниями набор данных среди трёх.
Исследование локализует прирост производительности методом геометрической агрегации, а не изучаемой структурой многообразия, демонстрируя, что риманова геометрия эффективно захватывает сигналы классификации в эмбеддингах предварительно обученных языковых моделей.