O SkyPilot integrou o Hugging Face Storage como um backend de primeira classe, permitindo que cargas de trabalho de IA sejam executadas em qualquer nuvem enquanto mantém modelos e conjuntos de dados no Hub com zero taxas de egresso. Esta integração permite aos usuários montar Buckets ou repositórios do Hugging Face em trabalhos do SkyPilot usando um único esquema de URL `hf://`.

  • Monta Buckets do Hugging Face de leitura/escrita ou repositórios de modelos/conjuntos de dados apenas de leitura por meio dos modos `MOUNT` ou `COPY`.
  • Executa trabalhos em mais de 20 nuvens, Kubernetes, Slurm e clusters on-prem aproveitando o agendamento multi-nuvem do SkyPilot.
  • Elimina custos de egresso ao ler dados, pois o Hugging Face Storage não cobra taxas de egresso ou CDN.
  • Usa deduplicação baseada em Xet para armazenar apenas os chunks alterados para checkpoints incrementais e variantes de modelos.

Isso permite que as equipes utilizem GPUs reservadas ou sob demanda de vários fornecedores sem ficarem presas à região de armazenamento de uma nuvem específica, reduzindo custos e complexidade.