FitCheck es una nueva herramienta que estima los requisitos máximos de VRAM para LoRA, QLoRA y el ajuste fino completo de modelos de lenguaje grandes sin requerir PyTorch, CUDA ni hardware GPU real.

  • Analiza la configuración config.json del modelo en Hugging Face y los metadatos del recuento de parámetros para informar desgloses de memoria, capacidad utilizable, margen y veredictos de ajuste.
  • La herramienta admite estimaciones de servicio basadas en los pesos del modelo y el caché KV, junto con un asesor para explorar el tamaño del lote, la longitud de secuencia y el rango LoRA.
  • Las pruebas en una Tesla T4 mostraron un error absoluto medio del 2,4% a través de 57 ejecuciones de calibración y produjeron 12/12 veredictos correctos de límite de ajuste en una prueba de retención separada.

La herramienta ayuda a los usuarios a determinar si su configuración de LLM cabrá en la memoria GPU antes de iniciar un trabajo, con el objetivo de reducir las suposiciones y los errores de falta de memoria.