एक उपयोगकर्ता आठ ओपन-सोर्स डेटासेट्स के मिश्रण पर निरंतर प्री-ट्रेनिंग को प्रबंधित करने के बारे में सलाह चाहता है, विशेष रूप से लर्निंग रेट चयन और डेटासेट सैंपलिंग अनुपातों के बीच व्यापारिक समझौतों को संबोधित करते हुए।
- FineWeb-Edu-scale (1T टोकन से अधिक) जैसे बड़े डेटासेट्स को वैलिडेशन नुकसान में सुधार के लिए अपेक्षाकृत बड़े लर्निंग रेट की आवश्यकता होती है, जबकि छोटे डेटासेट्स (लगभग 50B टोकन) को अत्यंत छोटे लर्निंग रेट की आवश्यकता होती है।
- उन छोटे डेटासेट्स का उप-सैंपलिंग जो केवल भारित उद्देश्य का 2–5% योगदान देते हैं, उनके पर्याप्त एक्सपोजर और बड़े डेटासेट्स द्वारा ओवरराइट होने के कारण उनकी वैलिडेशन नुकसान में वृद्धि का कारण बनता है।
- इन छोटे डेटासेट्स का ओवर-सैंपलिंग बड़े डेटासेट्स की सैंपलिंग दर को कम करने की आवश्यकता रखता है, जिससे समग्र भारित उद्देश्य के अनुकूलन में धीमी गति हो सकती है।
लेखक ऐसे प्रशिक्षण रणनीतियों या ऑप्टिमाइजर संशोधनों की तलाश में है जो इन विरोधाभासी आवश्यकताओं को संभाल सकें और कुशलता से भारित वैलिडेशन नुकसान को कम कर सकें।