يبحث مستخدم عن نصائح لإدارة التعلم المسبق المستمر عبر مزيج من ثمانية مجموعات بيانات مفتوحة المصدر، مع التركيز بشكل خاص على المقايضات بين اختيار معدل التعلم ونسب عيّنة مجموعات البيانات.
- تتطلب مجموعات البيانات الكبيرة مثل FineWeb-Edu-scale (أكثر من 1T توكن) معدلات تعلم كبيرة نسبيًا لتحسين فقدان التحقق، بينما تحتاج مجموعات البيانات الأصغر (حوالي 50B توكن) إلى معدلات تعلم صغيرة للغاية.
- يؤدي أخذ عيّنة أقل من مجموعات البيانات الصغيرة التي تساهم بنسبة 2–5% فقط في الهدف المرجّح إلى زيادة فقدان التحقق الخاص بها بسبب التعرض غير الكافي والكتابة فوقها بواسطة مجموعات البيانات الأكبر.
- يتطلب أخذ عيّنة زائدة من هذه المجموعات الأصغر تقليل معدل العيّنة للمجموعات الأكبر، مما قد يبطئ تحسين الهدف المرجّح العام.
يبحث المؤلف عن استراتيجيات تدريب أو تعديلات على المُحسّن يمكنها التعامل مع هذه المتطلبات المتضادة لتقليل فقدان التحقق المرجّح بكفاءة.