Un développeur a terminé un jeu de données de 160 Go contenant 40 milliards de tokens incluant des données anglaises d'Angleterre et des États-Unis entre 1800 et 1875. L'auteur a entraîné un modèle d'évaluation de 500 millions de paramètres sur un échantillon de 5 milliards de tokens issu de cette collection.
- Le jeu de données couvre les textes du XIXe siècle, spécifiquement de 1800 à 1875.
- Un modèle plus petit de 2 milliards de paramètres est prévu pour des entraînements futurs en utilisant l'ensemble du jeu de données.
- Le modèle d'évaluation actuel a été affiné sur des questions et réponses synthétiques dérivées du matériel source.
- Le projet comprend un dépôt GitHub nommé TimeCapsuleLLM et une fiche modèle Hugging Face.
L'auteur note que bien que les résultats soient prometteurs, le modèle performe actuellement mieux avec du contenu spécifique à Londres et nécessite un affinage supplémentaire pour la précision.