Anassbzdd ha lanzado FitCheck, una herramienta que estima los requisitos pico de VRAM para LoRA, QLoRA y ajuste fino completo de modelos de lenguaje grandes sin requerir una GPU o PyTorch. El estimador analiza el config.json de Hugging Face y los metadatos del conteo de parámetros para informar desgloses de memoria, capacidad utilizable, margen y el micro-lote estimado más grande que cabe.

  • Soporta estimaciones de servicio basadas en pesos del modelo y KV cache.
  • Incluye un asesor para explorar tamaño de lote, longitud de secuencia y rango LoRA.
  • Logró un error absoluto medio del 2.4% en 57 ejecuciones de calibración frente a mediciones reales de Tesla T4.
  • Produjo 12/12 veredicios correctos de límite de ajuste en una prueba de retención separada de 12 ejecuciones.

La herramienta ayuda a los usuarios a determinar si su configuración cabe en la memoria de su GPU antes de iniciar un trabajo LLM, con el objetivo de reducir las suposiciones y los errores de falta de memoria.