提议构建统一的开放数据集，而非去中心化大语言模型训练

作者认为，开源社区应优先构建大规模、高质量的预训练数据集，而不是试图在家庭GPU上协调去中心化的大语言模型训练。这一转变被视为对近期政府禁止商业前沿模型以及中小型开源权重发布稀缺的更务实且紧迫的回应。

• 作者驳斥了短期内在消费级硬件上进行分布式训练的可行性，指出需要针对高延迟网络进行算法的基础研究。
• 提出的解决方案涉及创建类似BitTorrent下载器的客户端，以从互联网上抓取、清洗和托管数据。
• 目标是建立一个包含数万亿个token的全球数据库，该数据库公开可用并托管在个人计算机上。

此类数据集的存在将对囤积数据和VRAM的大型企业构成有力反驳，同时加速未来的分布式训练工作。