SkyPilot telah mengintegrasikan Hugging Face Storage sebagai backend kelas pertama, memungkinkan beban kerja AI berjalan di cloud mana pun sambil menyimpan model dan dataset di Hub dengan biaya egress nol. Integrasi ini memungkinkan pengguna memount Buckets atau repositori Hugging Face ke dalam job SkyPilot menggunakan skema URL `hf://` tunggal.

  • Memount Buckets Hugging Face baca/tulis atau repositori model/dataset baca-saja melalui mode `MOUNT` atau `COPY`.
  • Menjalankan job di lebih dari 20 cloud, Kubernetes, Slurm, dan kluster on-prem dengan memanfaatkan penjadwalan multi-cloud SkyPilot.
  • Menghilangkan biaya egress untuk membaca data, karena Hugging Face Storage tidak membebankan biaya egress atau CDN.
  • Menggunakan deduplikasi berbasis Xet untuk hanya menyimpan chunk yang berubah untuk checkpoint inkremental dan varian model.

Hal ini memungkinkan tim memanfaatkan GPU yang dipesan atau on-demand di berbagai vendor tanpa terikat pada wilayah penyimpanan cloud tertentu, sehingga mengurangi biaya dan kompleksitas.