Un desarrollador ha completado un conjunto de datos de 160 GB que contiene 40B de tokens con datos en inglés de Inglaterra y Estados Unidos entre 1800 y 1875. El autor entrenó un modelo de evaluación de 500M parámetros sobre una muestra de 5B de tokens de esta colección.
- El conjunto de datos cubre textos del siglo XIX, específicamente de 1800 a 1875.
- Se planea entrenar un modelo más pequeño de 2B parámetros en el futuro utilizando el conjunto de datos completo.
- El modelo de evaluación actual fue ajustado finamente con preguntas y respuestas sintéticas derivadas del material original.
- El proyecto incluye un repositorio de GitHub llamado TimeCapsuleLLM y una tarjeta de modelo de Hugging Face.
El autor señala que, aunque los resultados son prometedores, el modelo actualmente funciona mejor con contenido específico de Londres y requiere más refinamiento para la precisión.