TimeCapsuleLLM: treinando um modelo de 500M parâmetros em textos em inglês do século XIX

Um desenvolvedor concluiu um conjunto de dados de 160 GB contendo 40B de tokens com dados em inglês da Inglaterra e dos Estados Unidos entre 1800 e 1875. O autor treinou um modelo de avaliação de 500M parâmetros em uma amostra de 5B de tokens desta coleção.

• O conjunto de dados cobre textos do século XIX, especificamente de 1800 a 1875.
• Um modelo menor de 2B parâmetros está planejado para treinamento futuro usando o conjunto de dados completo.
• O modelo de avaliação atual foi ajustado finamente em perguntas e respostas sintéticas derivadas do material original.
• O projeto inclui um repositório GitHub chamado TimeCapsuleLLM e um cartão de modelo Hugging Face.

O autor observa que, embora os resultados sejam promissores, o modelo atualmente performa melhor com conteúdo específico de Londres e requer refinamento adicional para precisão.