開発者は、1800年から1875年にかけてイングランドと米国から収集された400億トークンを含む160GBのデータセットを完成させました。著者はこのコレクションから50億トークンのサンプルを用いて、5億パラメータの評価モデルをトレーニングしました。

  • データセットは19世紀、具体的には1800年から1875年のテキストをカバーしています。
  • 完全なデータセットを使用して将来、より小さな20億パラメータのモデルのトレーニングが計画されています。
  • 現在の実行中の評価モデルは、ソース資料から派生した合成の質問と回答でファインチューニングされました。
  • このプロジェクトにはTimeCapsuleLLMという名前のGitHubリポジトリとHugging Faceのモデルカードが含まれています。

著者は結果が有望であると述べていますが、現在モデルはロンドン固有のコンテンツに対してより良いパフォーマンスを発揮しており、正確性のためのさらなる改良が必要です。