Anassbzdd ने FitCheck जारी किया है, एक उपकरण जो GPU या PyTorch की आवश्यकता के बिना LoRA, QLoRA, और बड़े भाषा मॉडल (LLM) के पूर्ण फाइन-ट्यूनिंग के लिए शीर्ष VRAM आवश्यकताओं का अनुमान लगाता है। एस्टिमेटर Hugging Face config.json और पैरामीटर-गिनती मेटाडेटा का विश्लेषण करता है ताकि मेमोरी ब्रेकडाउन, उपयोग योग्य क्षमता, हेडरूम, और फिट होने वाले सबसे बड़े अनुमानित माइक्रो-बैच की रिपोर्ट कर सके।
- मॉडल वेट्स और KV cache पर आधारित सेवा अनुमानों का समर्थन करता है।
- बैच साइज़, सीक्वेंस लंबाई, और LoRA रैंक का पता लगाने के लिए एक सलाहकार शामिल है।
- वास्तविक Tesla T4 मापों के खिलाफ 57 कैलिब्रेशन रन पर 2.4% मीन एब्सोल्यूट एरर हासिल किया।
- अलग 12-रन होल्डआउट टेस्ट में 12/12 सही फिट-बाउंड्री वरदिक्ट उत्पन्न किए।
यह उपकरण उपयोगकर्ताओं को LLM जॉब शुरू करने से पहले यह निर्धारित करने में मदद करता है कि क्या उनकी कॉन्फ़िगरेशन उनके GPU की मेमोरी में फिट हो जाती है, जो अनुमान और आउट-ऑफ-मेमोरी त्रुटियों को कम करने का लक्ष्य रखता है।