शोधकर्ताओं ने रीमैनियन मीन पूलिंग (RMP) प्रस्तावित किया, एक विधि जो एन्कोडर के जैकोबियन से प्रति-टोकन पुलबैक मेट्रिक्स निकालती है और सममित धनात्मक परिभाषित मैनिफोल्ड पर फ्रेशे मीन का उपयोग करके उन्हें एग्रीगेट करती है। यह दृष्टिकोण इस बात को समझने का प्रयास करता है कि क्या वाक्य-स्तर के वर्गीकरण संकेत संदर्भित टोकन एम्बेडिंग्स की रीमैनियन ज्यामिति में निहित हैं।
- RMP, गैर-अप्रत्यय भाषाई संरचना वाले तीन डेटासेट पर यूक्लिडियन मीन पूलिंग से बेहतर प्रदर्शन करता है: CoLA, CREAK, और RTE।
- FEVER-Symmetric पर, एक बेंचमार्क जो एनोटेशन-संचालित शब्दार्थ कलाकारों को हटाने के लिए डिज़ाइन किया गया था, विधि सही ढंग से संयोग स्तर पर बनी रहती है।
- अलबेशनों से पता चलता है कि यादृच्छिक प्रारंभीकरण फ्रेशे एग्रीगेशन के साथ मिलकर दो में से तीन संकेत-वाहक डेटासेट पर यूक्लिडियन पूलिंग को हरा देता है।
- प्रशिक्षित एन्कोडर विशेष रूप से CREAK पर अतिरिक्त संकेत योगदान देता है, जिन्हें तीन में से सबसे ज्ञान-भारी डेटासेट के रूप में पहचाना गया है।
अध्ययन प्रदर्शन लाभ को सीखे गए मैनिफोल्ड संरचना के बजाय ज्यामितीय एग्रीगेशन विधि तक स्थानीकृत करता है, यह प्रदर्शित करते हुए कि रीमैनियन ज्यामिति पूर्व-प्रशिक्षित भाषा मॉडल एम्बेडिंग्स में वर्गीकरण संकेतों को प्रभावी ढंग से पकड़ती है।