एक डेवलपर ने GitHub पर एक ओपन डेटासेट प्रकाशित किया है जिसमें विस्तार से बताया गया है कि कौन से स्थानीय बड़े भाषा मॉडल (LLM) 8GB से 128GB तक विशिष्ट RAM और VRAM स्तरों में फिट बैठते हैं। यह परियोजना एक MacBook या NVIDIA RTX 3060 जैसे हार्डवेयर के लिए मॉडल संगतता निर्धारित करने की सामान्य कठिनाई को संबोधित करती है।
डेटासेट में क्वांटीज़ेशन, लोड साइज और Ollama कमांड्स पर विवरण सहित 62 मॉडल शामिल हैं। यह एक नियम प्रदान करता है कि Q4_K_M मॉडलों को प्रति अरब पैरामीटर लगभग 0.6GB मेमोरी की आवश्यकता होती है, जिसका सुझाव दिया जाता है कि सिस्टम ओवरहेड के लिए उपलब्ध RAM का लगभग 70% आकार निर्धारित करें। डेटा में 8GB (~8B पैरामीटर), 16GB (~14B), 24GB (~27B), 32GB (~35B), 48GB (~47B), 64GB (~70B) और 128GB (~122B) सहित स्तरों के लिए उपयोगी बजट और अधिकतम पैरामीटर गणना शामिल है।
डेटासेट CC BY लाइसेंस के तहत उपलब्ध है जिसमें प्रोग्रामेटिक एक्सेस के लिए एक JSON API है, जो Apple Silicon और खपत NVIDIA हार्डवेयर को कवर करता है। लेखक त्रुटियों को ठीक करने या गायब मॉडलों और क्वांटीज़ेशन को जोड़ने के लिए समुदाय योगदान का आमंत्रण देता है।