Model Registry: Торренты для открытых моделей с использованием Hugging Face в качестве резервного веб-сидa.

Создан новый репозиторий и сайт под названием Model Registry для публикации и распространения .torrent файлов популярных открытых моделей, используя Hugging Face в качестве резервного веб-сидa. Проект включает скрипты для автоматизации процесса и бэкенд-сервис, который перенаправляет BitTorrent-клиенты на правильный эндпоинт Hugging Face.

• Система использует CDN Hugging Face в качестве резервного варианта, когда нет доступных пиров через стандартные протоколы BitTorrent.
• Пользовательский бэкенд-сервис обрабатывает перенаправление в зависимости от того, хранятся ли файлы в LFS или нет, соблюдая BEP 0019.
• Проект в настоящее время экспериментальный и находится в разработке; планируются планы по автоматизации создания .torrent файлов с помощью GitHub Actions.
• Ограничения включают ограничение дискового пространства ~100 ГБ у бесплатных раннеров GitHub для моделей, превышающих этот размер.

Этот подход направлен на облегчение распространения больших открытых моделей путем объединения эффективности торрентов с инфраструктурой Hugging Face, хотя он остается проектом на ранней стадии и подвержен проблемам надежности CDN.