एक डेवलपर ने 1800 और 1875 के बीच इंग्लैंड और संयुक्त राज्य अमेरिका से अंग्रेजी डेटा वाले 40B टोकन युक्त 160GB डेटासेट को पूरा किया है। लेखक ने इस संग्रह से 5B टोकन के नमूने पर 500M पैरामीटर मूल्यांकन मॉडल का प्रशिक्षण दिया।
- डेटासेट 19वीं सदी के पाठों को कवर करता है, विशेष रूप से 1800 से 1875 तक।
- पूर्ण डेटासेट का उपयोग करके भविष्य में प्रशिक्षण के लिए एक छोटा 2B पैरामीटर मॉडल योजनाबद्ध है।
- वर्तमान मूल्यांकन मॉडल को स्रोत सामग्री से व्युत्पन्न कृत्रिम प्रश्नों और उत्तरों पर फाइन-ट्यून किया गया था।
- इस परियोजना में TimeCapsuleLLM नाम का एक GitHub रिपॉजिटरी और एक Hugging Face मॉडल कार्ड शामिल है।
लेखक ने नोट किया है कि हालांकि परिणाम वादा करने वाले हैं, मॉडल वर्तमान में लंदन-विशिष्ट सामग्री के साथ बेहतर प्रदर्शन करता है और सटीकता के लिए further refinement की आवश्यकता है।