Разработчик завершил создание датасета объемом 160 ГБ, содержащего 40B токенов с английскими данными из Англии и Соединенных Штатов за период с 1800 по 1875 год. Автор обучил оценочную модель с 500 млн параметров на выборке из 5B токенов из этой коллекции.
- Датасет охватывает тексты XIX века, конкретно с 1800 по 1875 год.
- Для будущего обучения планируется использование меньшей модели с 2B параметров на полном датасете.
- Текущая оценочная модель была дообучена на синтетических вопросах и ответах, полученных из исходного материала.
- Проект включает репозиторий GitHub под названием TimeCapsuleLLM и карточку модели Hugging Face.
Автор отмечает, что, хотя результаты многообещающие, модель в настоящее время лучше справляется с контентом, специфичным для Лондона, и требует дальнейшей доработки для повышения точности.