SkyPilotは、Hugging Face Storageをファーストクラスのバックエンドとして統合し、モデルやデータセットをHubに保持したまま、AIワークロードを任意のクラウドで実行できるようにしました。この統合により、ユーザーは単一の `hf://` URLスキームを使用して、SkyPilotジョブにHugging Face Bucketsまたはリポジトリをマウントできます。

  • `MOUNT` または `COPY` モードを通じて、読み書き可能なHugging Face Bucketsや読み取り専用のモデル/データセットリポジトリをマウントします。
  • SkyPilotのマルチクラウドスケジューリングを活用し、20以上のクラウド、Kubernetes、Slurm、オンプレミスクラスター間でジョブを実行します。
  • Hugging Face StorageはエグレスやCDN料金を課金しないため、データの読み取りに伴うエグレスコストを排除します。
  • Xetベースの重複排除を使用して、増分チェックポイントやモデルバリアントのために変更されたチャンクのみを保存します。

これにより、チームは特定のクラウドのストレージリージョンに縛られることなく、複数のベンダー間で予約済みまたはオンデマンドのGPUを利用でき、コストと複雑さを削減できます。