FitCheck एक नया टूल है जो PyTorch, CUDA, या वास्तविक GPU हार्डवेयर की आवश्यकता के बिना LoRA, QLoRA, और बड़े भाषा मॉडल (LLM) के पूर्ण फाइन-ट्यूनिंग के लिए पीक VRAM आवश्यकताओं का अनुमान लगाता है।
- यह Hugging Face config.json और पैरामीटर-गिनती मेटाडेटा का विश्लेषण करता है ताकि मेमोरी ब्रेकडाउन, उपयोग योग्य क्षमता, हेडरूम, और फिट निर्णयों की रिपोर्ट कर सके।
- यह टूल मॉडल वजन और KV कैश के आधार पर सर्विंग अनुमानों का समर्थन करता है, साथ ही बैच साइज़, सीक्वेंस लंबाई, और LoRA रैंक का अन्वेषण करने के लिए एक सलाहकार भी प्रदान करता है।
- Tesla T4 पर टेस्टिंग ने 57 कैलिब्रेशन रन में 2.4% माध्य निरपेक्ष त्रुटि दिखाई और एक अलग होल्डआउट टेस्ट में 12/12 सही फिट-बाउंडरी निर्णय दिए।
यह टूल उपयोगकर्ताओं को यह निर्धारित करने में मदद करता है कि क्या उनका LLM कॉन्फ़िगरेशन GPU मेमोरी में फिट होगा, जिससे अनुमान लगाने और आउट-ऑफ-मेमोरी त्रुटियों को कम करने का लक्ष्य रखा गया है।