SkyPilot 已将 Hugging Face Storage 集成为首选后端,允许 AI 工作负载在任何云上运行,同时将模型和数据集保留在 Hub 上,且零出口费用。此集成允许用户使用单个 `hf://` URL 方案将 Hugging Face Buckets 或仓库挂载到 SkyPilot 作业中。

  • 通过 `MOUNT` 或 `COPY` 模式挂载可读写 Hugging Face Buckets 或只读模型/数据集仓库。
  • 利用 SkyPilot 的多云调度,在 20+ 云平台、Kubernetes、Slurm 和本地集群上运行作业。
  • 消除读取数据时的出口成本,因为 Hugging Face Storage 不收取出口或 CDN 费用。
  • 使用基于 Xet 的重复数据删除功能,仅存储更改的块以用于增量检查点和模型变体。

这使得团队可以利用多个供应商的预留或按需 GPU,而不必绑定到特定云的存储区域,从而降低成本和复杂性。