FitCheck — это новый инструмент, который оценивает пиковые требования к VRAM для LoRA, QLoRA и полного дообучения больших языковых моделей без необходимости использования PyTorch, CUDA или реального GPU-оборудования.

  • Он анализирует конфигурационный файл config.json модели Hugging Face и метаданные с количеством параметров, чтобы предоставить детализацию по памяти, доступную ёмкость, запас прочности и итоговую оценку возможности размещения.
  • Инструмент поддерживает оценку требований к обслуживанию на основе весов модели и KV-кэша, а также предоставляет советника для подбора размера батча, длины последовательности и ранга LoRA.
  • Тестирование на Tesla T4 показало среднюю абсолютную ошибку 2,4% по результатам 57 калибровочных прогонов и дало 12 из 12 правильных вердиктов о границе вместимости в отдельном тестовом наборе.

Инструмент помогает пользователям определить, поместится ли их конфигурация LLM в память GPU перед запуском задачи, что позволяет снизить количество догадок и ошибок нехватки памяти.