SkyPilot, 제로 이출 백엔드로 Hugging Face Storage 추가

SkyPilot은 Hugging Face Storage를 퍼스트 클래스 백엔드로 통합하여 모델과 데이터셋을 Hub에 유지한 채 AI 워크로드를 모든 클라우드에서 실행할 수 있게 했습니다. 이 통합을 통해 사용자는 단일 `hf://` URL 스키마를 사용하여 SkyPilot 작업에 Hugging Face Buckets 또는 리포지토리를 마운트할 수 있습니다.

• `MOUNT` 또는 `COPY` 모드를 통해 읽기/쓰기가 가능한 Hugging Face Buckets 또는 읽기 전용 모델/데이터셋 리포지토리를 마운트합니다.
• SkyPilot의 멀티 클라우드 스케줄링을 활용하여 20개 이상의 클라우드, Kubernetes, Slurm 및 온프레미스 클러스터 간에 작업을 실행합니다.
• Hugging Face Storage가 이출 또는 CDN 요금을 부과하지 않으므로 데이터 읽기에 따른 이출 비용을 제거합니다.
• Xet 기반 중복 제거를 사용하여 증분 체크포인트와 모델 변형체를 위해 변경된 청크만 저장합니다.

이를 통해 팀은 특정 클라우드의 스토리지 영역에 고정되지 않고 여러 벤더 간 예약 또는 온디맨드 GPU를 활용할 수 있어 비용과 복잡성을 줄일 수 있습니다.