Hugging Face ने @huggingface/kernels जारी किया है, जो Hugging Face Hub से अनुकूलित WebGPU kernels को लोड और चलाने के लिए एक लाइब्रेरी है, जिसके साथ 207 kernels का प्रारंभिक संग्रह भी शामिल है। इस रिलीज़ में Fleet भी पेश किया गया है, जो उपयोगकर्ताओं के डिवाइस से प्रदर्शन और सटीकता के सबूतों को समूह द्वारा इकट्ठा करके एक इन-ब्राउज़र GPU बेंचमार्किंग सूट है।
- kernel संग्रह में मैट्रिक्स गुणा और एटेंशन प्राइमिटिव्स जैसे ऑपरेशन शामिल हैं, जिनमें से प्रत्येक मैनिफेस्ट, सटीकता परीक्षण और WGSL शेडर टेम्पलेट के साथ एक संस्करणित रिपॉजिटरी के रूप में प्रकाशित किया गया है।
- @huggingface/kernels एक जावास्क्रिप्ट लोडर प्रदान करता है जो स्पष्ट अनुबंध संस्करणों का उपयोग करके Hub से kernels को डाउनलोड और निष्पादित करता है।
- Apple M4 GPU पर किए गए बेंचमार्क्स ने दिखाया कि नए kernels ORT WebGPU की तुलना में ज्यामितीय माध्य द्वारा 2.57x तेज़ थे, जिसमें विशिष्ट मामलों जैसे bilinear Einsum 10,000x से अधिक तेज़ चला।
- Fleet उपयोगकर्ताओं को अपने हार्डवेयर पर परीक्षण चलाने की अनुमति देता है, जो निजी सबूत प्रदान करके विफलताओं की पहचान करने और विविध वास्तविक दुनिया के डिवाइसों में kernel संस्करणों को बेहतर बनाने में मदद करता है।
यह आधार WebAI पारिस्थितिकी तंत्र में तेज़ स्थानीय इनफरेंस को आसान बनाने का लक्ष्य रखता है, जो पारदर्शी, संस्करणित ऑपरेशन अनुबंध और व्यापक, वास्तविक दुनिया के प्रदर्शन डेटा प्रदान करके।