PrismML टीम ने Bonsai 27Rिलीज़ किया है, एक बड़ा भाषा मॉडल जिसे कस्टम WebGPU kernels का उपयोग करके वेब ब्राउज़र में स्थानीय रूप से चलाने के लिए डिज़ाइन किया गया है। मॉडल उच्च प्रदर्शन बनाए रखते हुए अपने मेमोरी फुटप्रिंट को काफी कम करने के लिए 1-bit क्वांटीज़ेशन का उपयोग करता है।
- 1-bit क्वांटीज़ेशन मॉडल के आकार को 54GB से घटाकर केवल 3.8GB कर देता है, जो 93% की कमी है।
- आक्रामक संपीड़न के बावजूद, मॉडल अपनी मौलिक बुद्धिमत्ता का 90% बनाए रखता है।
- PrismML संगठन के तहत Hugging Face पर चेकपॉइंट्स का एक संग्रह उपलब्ध है।
- WebGPU kernels का उपयोग करने वाला एक इंटरैक्टिव डेमो Hugging Face Spaces पर होस्ट किया गया है।
यह रिलीज़ उपयोगकर्ताओं को उच्च-अंत स्थानीय हार्डवेयर की आवश्यकता के बिना सीधे अपने ब्राउज़र में एक बड़े पैमाने पर घनत्वपूर्ण मॉडल चलाने सक्षम बनाती है।