FitCheckは、PyTorch、CUDA、または実際のGPUハードウェアを必要とせずに、LoRA、QLoRA、および大規模言語モデルのフルファインチューニングのピークVRAM要件を推定する新しいツールです。

  • Hugging Faceのconfig.jsonとパラメータ数のメタデータを分析し、メモリ内訳、使用可能容量、余裕、適合判定を報告します。
  • モデルの重みとKVキャッシュに基づくサービング推計をサポートし、バッチサイズ、シーケンス長、LoRAランクを探求するためのアドバイザーを提供します。
  • Tesla T4でのテストでは、57回のキャリブレーション実行で平均絶対誤差2.4%を示し、別のホールドアウトテストで適合境界判定12件中12件正解を達成しました。

このツールは、ジョブを開始する前にLLM構成がGPUメモリに収まるかどうかをユーザーが判断するのに役立ち、推測とメモリ不足エラーを減らすことを目的としています。