SkyPilot ने Hugging Face Storage को एक प्रथम-श्रेणी बैकएंड के रूप में एकीकृत किया है, जिससे AI वर्कलोड किसी भी क्लाउड पर चला सकते हैं जबकि मॉडल और डेटासेट Hub पर शून्य egress शुल्क के साथ रहते हैं। इस एकीकरण से उपयोगकर्ता एकल `hf://` URL स्कीम का उपयोग करके SkyPilot जॉब में Hugging Face Buckets या रिपॉजिटरी को माउंट कर सकते हैं।
- `MOUNT` या `COPY` मोड के माध्यम से रीड-राइट Hugging Face Buckets या रीड-ओनली मॉडल/डेटासेट रिपॉजिटरी को माउंट करता है।
- SkyPilot के मल्टी-क्लाउड शेड्यूलिंग का लाभ उठाते हुए 20+ क्लाउड, Kubernetes, Slurm, और ऑन-प्रिम क्लस्टर पर जॉब चलाता है।
- डेटा पढ़ते समय egress लागत को समाप्त करता है, क्योंकि Hugging Face Storage कोई egress या CDN शुल्क नहीं लेता है।
- इंक्रीमेंटल चेकपॉइंट और मॉडल वेरिएंट के लिए केवल बदले गए चंक्स को स्टोर करने के लिए Xet-सहायक डेडप्लिकेशन का उपयोग करता है।
इससे टीमों को विशिष्ट क्लाउड के स्टोरेज क्षेत्र पर पिन किए बिना कई विक्रेताओं से आरक्षित या ऑन-डिमांड GPUs का उपयोग करने की अनुमति मिलती है, जिससे लागत और जटिलता कम होती है।