Seorang pengembang telah menyelesaikan dataset berukuran 160GB yang berisi 40 miliar token yang mencakup data bahasa Inggris dari Inggris dan Amerika Serikat antara tahun 1800 hingga 1875. Penulis melatih model evaluasi 500 juta parameter pada sampel 5 miliar token dari koleksi ini.
- Dataset ini mencakup teks dari abad ke-19, khususnya tahun 1800 hingga 1875.
- Model yang lebih kecil dengan 2 miliar parameter direncanakan untuk pelatihan di masa depan menggunakan dataset lengkap.
- Model evaluasi saat ini telah difin-tune pada pertanyaan dan jawaban sintetis yang berasal dari materi sumber.
- Proyek ini mencakup repositori GitHub bernama TimeCapsuleLLM dan kartu model Hugging Face.
Penulis mencatat bahwa meskipun hasilnya menjanjikan, model saat ini bekerja lebih baik dengan konten spesifik London dan memerlukan penyempurnaan lebih lanjut untuk akurasi.