SkyPilot интегрировал Hugging Face Storage как полноценный бэкенд, позволяя ИИ-нагрузкам работать на любом облаке, сохраняя модели и датасеты на Hub без комиссий за исходящий трафик. Эта интеграция позволяет пользователям монтировать ведра или репозитории Hugging Face в заданиях SkyPilot с помощью единой схемы URL `hf://`.
- Монтирует ведра Hugging Face для чтения/записи или репозитории моделей/датасетов только для чтения через режимы `MOUNT` или `COPY`.
- Запускает задания на 20+ облаках, Kubernetes, Slurm и локальных кластерах, используя многоклаудное планирование SkyPilot.
- Исключает расходы на исходящий трафик при чтении данных, так как Hugging Face Storage не взимает комиссии за исходящий трафик или CDN.
- Использует дедупликацию на базе Xet для хранения только изменённых фрагментов инкрементальных чекпоинтов и вариантов моделей.
Это позволяет командам использовать зарезервированные или по требованию GPU от разных поставщиков, не привязываясь к региону хранилища конкретного облака, что снижает затраты и сложность.