Hugging Face выпустила The Stack v3, описываемую как крупнейший на сегодняшний день открытый датасет кода. Выпуск предоставляет два различных способа доступа для удовлетворения потребностей разных пользователей.

  • stack-v3-train: версия с почти дедупликацией, фильтрацией по качеству и удалением PII, содержащая встроенное содержимое, доступна через библиотеку Hugging Face datasets.
  • stack-v3-full: весь корпус объёмом 114 ТБ, хранящийся в HF Storage Bucket, сохраняющий все дубликаты с cluster IDs и заглушками для исключённых файлов.

Этот выпуск предоставляет исследователям и разработчикам доступ к массивному репозиторию сырого кода, а также предлагает предварительно обработанный вариант для немедленного использования в обучении.