Hugging Face ने The Stack v3 जारी किया है, जिसे अब तक का सबसे बड़ा ओपन कोड डेटासेट बताया गया है। रिलीज में विभिन्न उपयोगकर्ताओं की आवश्यकताओं को पूरा करने के लिए दो अलग-अलग एक्सेस तरीके प्रदान किए गए हैं।
- stack-v3-train: एक लगभग डेडप्लिकेटेड, क्वालिटी-फिल्टर्ड और PII-रेडैक्टेड संस्करण जिसमें इनलाइन सामग्री है, जो Hugging Face datasets लाइब्रेरी के माध्यम से उपलब्ध है।
- stack-v3-full: 114 TB का पूरा कॉर्पस HF Storage Bucket के रूप में संग्रहीत है, जिसमें सभी डुप्लिकेट्स को cluster IDs और बाहरी फ़ाइलों के लिए stubs के साथ संरक्षित रखा गया है।
यह रिलीज शोधकर्ताओं और डेवलपर्स को एक विशाल, कच्चे कोड रिपॉजिटरी तक पहुँच प्रदान करती है, साथ ही तुरंत प्रशिक्षण के लिए उपयोग करने योग्य एक पूर्व-प्रोसेस्ड संस्करण भी प्रदान करती है।