HERMES एक डेटा-उत्पन्न लेबलिंग सब्सट्रेट है जो सीखे गए सेमांटिक ट्रांसफॉर्म और 3-चरण रीजिडुअल वेक्टर क्वांटीज़ेशन का उपयोग करके दस्तावेज़ों को लगभग 130k कोशिकाओं तक के मोटे से बारीक कोड में एनोटेट करता है।
- यह प्रीफ़िक्स लंबाई के माध्यम से ग्रैन्युलरिटी नियंत्रण की अनुमति देता है, जो मौजूदा लेबल्स की सीमाओं को पार करता है जो एक ही सेमांटिक अक्ष पर प्रतिबद्ध हैं।
- मोटी ग्रैन्युलरिटी पर, HERMES मानक क्लस्टरिंग मेट्रिक्स पर KMeans-फैमिली विधियों के तुलनीय प्रदर्शन करता है।
- 1B-पैरामीटर, 25B-टोकन प्री-ट्रेनिंग में, चरण-2 नियम कंट्रास्ट को बराबर-सबबकेट कवरेज के साथ मिलाने से 16-कार्य क्षमता मैक्रो-औसत +0.0253 बढ़ गया।
- बारीक स्तरों पर प्रदर्शन लाभ गायब हो गया जहाँ उम्मीदवार पूल लगभग 5x संकुचित हो गए।
HERMES डेटा मिश्रण डिज़ाइन को स्थिर लेबल सेट के बीच चुनने से पुन: उपयोग योग्य, डेटा-उत्पन्न ग्रैन्युलरिटी हियरार्की में नेविगेट करने में बदल देता है।