أكمل مطور مجموعة بيانات بحجم 160 جيجابايت تحتوي على 40 مليار توكن تتضمن بيانات إنجليزية من إنجلترا والولايات المتحدة بين عامي 1800 و1875. قام المؤلف بتدريب نموذج تقييم بـ 500 مليون معلمة على عينة مكونة من 5 مليارات توكن من هذه المجموعة.
- تغطي مجموعة البيانات نصوصًا من القرن التاسع عشر، وتحديداً من عام 1800 إلى 1875.
- يُخطط لتدريب نموذج أصغر بـ 2 مليار معلمة في المستقبل باستخدام مجموعة البيانات الكاملة.
- تم ضبط النموذج التقييمي الحالي بدقة على أسئلة وأجوبة اصطناعية مستمدة من المواد المصدرية.
- يتضمن المشروع مستودع GitHub باسم TimeCapsuleLLM وبطاقة نموذج Hugging Face.
يلاحظ المؤلف أنه على الرغم من أن النتائج واعدة، فإن النموذج يؤدي حاليًا بشكل أفضل مع المحتوى المحدد بلندن ويتطلب مزيدًا من التحسين للدقة.