Anassbzdd 发布了 FitCheck，这是一个无需 GPU 或 PyTorch 即可估计 LoRA、QLoRA 和大语言模型全量微调峰值 VRAM 需求的工具。该估计器分析 Hugging Face 的 config.json 和参数量元数据，以报告内存分解、可用容量、余量以及能容纳的最大估计微批次。

  • 支持基于模型权重和 KV cache 的服务估算。
  • 包含一个顾问模块，用于探索批次大小、序列长度和 LoRA rank。
  • 在 57 次校准运行中，与真实 Tesla T4 测量值相比，平均绝对误差达到 2.4%。
  • 在单独的 12 次运行保留测试中，产生了 12/12 个正确的拟合边界判定。

该工具帮助用户在开始 LLM 任务之前确定其配置是否适合 GPU 内存，旨在减少猜测和内存不足错误。