Hugging Face 发布了 The Stack v3，据称是迄今为止最大的开源代码数据集。此次发布提供了两种不同的访问方式以满足不同用户的需求。

  • stack-v3-train：一个近乎去重、经过质量过滤并移除 PII 的版本，包含内联内容，可通过 Hugging Face datasets 库访问。
  • stack-v3-full：整个 114 TB 语料库存储为 HF Storage Bucket，保留所有重复项以及排除文件的 cluster IDs 和 stubs。

此次发布让研究人员和开发者能够访问庞大的原始代码仓库，同时也提供了可用于即时训练的预处理变体。