AI Hardware Fit के निर्माता ने एक मुफ्त, ओपन-सोर्स ब्राउज़र टूल जारी किया है, जिसका डिज़ाइन उपयोगकर्ताओं की मदद करने के लिए किया गया है कि वे यह निर्धारित कर सकें कि कोई लोकल मॉडल उनके GPU पर फिट होगा या नहीं और उपयुक्त हार्डवेयर विकल्पों की तुलना कर सकें। टूल विभिन्न स्रोतों से मॉडल फ़ाइलों, क्वांटीज़ेशन, कॉन्टेक्स्ट लंबाई और रनटाइम समर्थन को जोड़ने की जटिलता को दूर करता है।
- उपयोगकर्ता एक विशिष्ट GPU के साथ शुरू करके उम्मीदवार मॉडल, सुझाए गए क्वांटीज़ेशन, अनुमानित VRAM और गति सीमाओं, और Ollama या llama.cpp के लिए कमांड देख सकते हैं।
- वैकल्पिक रूप से, एक मॉडल के साथ शुरू करने से उपयोगकर्ता बजट, पावर खपत और फ़ॉर्म फैक्टर के आधार पर उपयुक्त GPUs की तुलना कर सकते हैं।
- कैटलॉग में वर्तमान में 151 GPU प्रीसेट्स और 332 AI मॉडल शामिल हैं, जिनमें Mac mini M4 (32GB) और M4 Pro (64GB) के लिए क्विक पिक्स शामिल हैं।
- इंटरफ़ेस प्रकाशित बेंचमार्क स्कोर का उपयोग करके VRAM-गुणवत्ता सीमाओं और संगत GPUs के लिए प्राइस-स्पीड सीमाओं को प्रदर्शित करता है।
टूल सटीक-स्थिति मापों, कैलिब्रेटेड रेंज और गणना किए गए अनुमानों को अलग-अलग लेबल करके पारदर्शी सबूत प्रदान करने का लक्ष्य रखता है, जिससे उपयोगकर्ता लोकल AI डिप्लॉयमेंट के लिए सूचित योजना निर्णय ले सकें।