Riemannian Mean Pooling meningkatkan klasifikasi kalimat dengan memanfaatkan geometri Riemann

Peneliti mengusulkan Riemannian Mean Pooling (RMP), sebuah metode yang mengekstrak metrik pullback per-token dari Jacobian encoder dan menggabungkannya menggunakan rata-rata Fréchet pada manifold positif definit simetris. Pendekatan ini bertujuan untuk memahami apakah sinyal klasifikasi tingkat kalimat berada dalam geometri Riemann dari embedding token kontekstual.

• RMP mengungguli mean pooling Euclidean di tiga dataset dengan struktur linguistik yang tidak sepele: CoLA, CREAK, dan RTE.
• Pada FEVER-Symmetric, sebuah benchmark yang dirancang untuk menghapus artefak leksikal yang didorong oleh anotasi, metode ini tetap berada pada tingkat kebetulan dengan benar.
• Ablasi menunjukkan bahwa inisialisasi acak yang dikombinasikan dengan agregasi Fréchet mengalahkan pooling Euclidean pada dua dari tiga dataset pembawa sinyal.
• Encoder yang dilatih memberikan sinyal tambahan secara khusus pada CREAK, yang diidentifikasi sebagai dataset paling kaya pengetahuan di antara ketiganya.

Studi ini melokalisasi peningkatan kinerja pada metode agregasi geometris daripada struktur manifold yang dipelajari, menunjukkan bahwa geometri Riemann secara efektif menangkap sinyal klasifikasi dalam embedding model bahasa pra-latih.