Anassbzdd выпустил FitCheck, инструмент, который оценивает пиковые требования к VRAM для LoRA, QLoRA и полной тонкой настройки больших языковых моделей без необходимости наличия GPU или PyTorch. Оценщик анализирует конфигурационный файл Hugging Face config.json и метаданные с количеством параметров, чтобы сообщить о разбивке памяти, доступной емкости, запасе прочности и наибольшем оцененном микро-батче, который помещается.
- Поддерживает оценки обслуживания на основе весов модели и KV cache.
- Включает советника для исследования размера батча, длины последовательности и ранга LoRA.
- Достиг средней абсолютной ошибки 2.4% по 57 калибровочным прогонам в сравнении с реальными измерениями Tesla T4.
- Выдал 12/12 правильных вердиктов о границе вместимости в отдельном тесте на 12 прогонах.
Инструмент помогает пользователям определить, помещается ли их конфигурация в память GPU перед запуском задачи LLM, стремясь уменьшить догадки и ошибки переполнения памяти.