Hugging Faceは、これまでに最も大きなオープンコードデータセットであるThe Stack v3をリリースしました。本リリースでは、異なるユーザーのニーズに対応するため、2つの異なるアクセス方法が提供されます。

  • stack-v3-train: ほぼ重複除去済み、品質フィルタリング済み、PII非表示化されたバージョンで、インラインコンテンツが含まれており、Hugging Face datasetsライブラリ経由でアクセス可能です。
  • stack-v3-full: 114 TBの全コーパスがHF Storage Bucketとして保存され、除外ファイルのcluster IDsおよびstubsとともにすべての重複が保持されています。

このリリースにより、研究者や開発者は巨大な生コードリポジトリにアクセスできるとともに、即時トレーニング用に事前処理されたバリアントも提供されます。