著者は、オープンソースコミュニティは家庭用GPU上で分散型LLM学習を調整する試みよりも、大規模で高品質な前学習データセットの構築に優先順位を置くべきだと主張しています。この転換は、商業的なフロンティアモデルに対する最近の政府禁止措置と、小〜中規模のオープンウェイトリリースの不足に対する、より現実的で即効性のある対応として提示されています。

  • 著者は、近いうちに消費者向けハードウェアでの分散学習の実現可能性を否定し、高遅延ネットワーク用のアルゴリズムに関する基礎研究の必要性を挙げています。
  • 提案された解決策には、インターネットからデータをスクレイピング、クリーニング、ホストするためにBitTorrentダウンローダーに似たクライアントを作成することが含まれます。
  • 目標は、トリリオン単位のトークンを含むグローバルデータベースを構築し、それを個々のコンピュータ上で公開してホストすることです。

このようなデータセットの存在は、データとVRAMを独占する大企業に対する重要な声明となり、同時に将来の分散学習の取り組みを加速させることになります。