Anassbzdd lançou o FitCheck, uma ferramenta que estima os requisitos pico de VRAM para LoRA, QLoRA e ajuste fino completo de modelos de linguagem grandes sem exigir uma GPU ou PyTorch. O estimador analisa o config.json do Hugging Face e metadados de contagem de parâmetros para relatar decomposição de memória, capacidade utilizável, margem e o micro-lote estimado maior que cabe.

  • Suporta estimativas de serviço baseadas em pesos do modelo e KV cache.
  • Inclui um conselheiro para explorar tamanho do lote, comprimento da sequência e rank LoRA.
  • Alcançou um erro absoluto médio de 2.4% em 57 execuções de calibração contra medições reais da Tesla T4.
  • Produziu 12/12 veredícios corretos de limite de ajuste em um teste de retenção separado de 12 execuções.

A ferramenta ajuda os usuários a determinar se sua configuração cabe na memória da GPU antes de iniciar um trabalho LLM, visando reduzir palpites e erros de falta de memória.