Anassbzdd a publié FitCheck, un outil qui estime les exigences VRAM maximales pour LoRA, QLoRA et le fine-tuning complet des grands modèles de langage sans nécessiter de GPU ou PyTorch. L'estimateur analyse le config.json de Hugging Face et les métadonnées du nombre de paramètres pour fournir une décomposition de la mémoire, la capacité utilisable, la marge et le plus grand micro-lote estimé qui tient.

  • Prend en charge les estimations de service basées sur les poids du modèle et KV cache.
  • Inclut un conseiller pour explorer la taille du lot, la longueur de séquence et le rang LoRA.
  • A atteint une erreur absolue moyenne de 2,4 % sur 57 exécutions de calibration par rapport aux mesures réelles de Tesla T4.
  • A produit 12/12 verdicts corrects de limite d'ajustement dans un test de rétention séparé de 12 exécutions.

L'outil aide les utilisateurs à déterminer si leur configuration tient dans la mémoire de leur GPU avant de lancer un travail LLM, visant à réduire les suppositions et les erreurs de manque de mémoire.