一位开发者完成了包含160GB数据、40B个token的英文数据集，数据来自1800年至1875年间英国和美国的内容。作者从该集合中抽取了5B个token的样本，用于训练一个拥有5亿参数的评估模型。

  • 该数据集涵盖19世纪的文本，具体为1800年至1875年。
  • 计划未来使用完整数据集训练一个更小的20亿参数模型。
  • 当前的评估模型是在源自原始材料的合成问答数据上进行了微调。
  • 该项目包括名为TimeCapsuleLLM的GitHub仓库和Hugging Face模型卡片。

作者指出，虽然结果令人鼓舞，但模型目前对伦敦特定内容的表现更好，且需要进一步改进以提高准确性。