AnassbzddはFitCheckをリリースしました。これは、GPUやPyTorchを必要とせずに、LoRA、QLoRA、および大規模言語モデルのフルファインチューニングのピークVRAM要件を見積もるツールです。この推定器はHugging Faceのconfig.jsonとパラメータ数メタデータを分析し、メモリ内訳、使用可能な容量、ヘッドルーム、および収まる最大の推定マイクロバッチを報告します。

  • モデルの重みとKV cacheに基づいたサービング見積もりをサポートします。
  • バッチサイズ、シーケンス長、LoRA rankを探求するためのアドバイザーを含みます。
  • 実際のTesla T4測定値に対して57回のキャリブレーション実行で2.4%の平均絶対誤差を達成しました。
  • 別の12回の実行ホールドアウトテストで12/12の正しいフィット境界判定を生み出しました。

このツールは、LLMジョブを開始する前にユーザーがその構成がGPUのメモリに収まるかどうかを判断するのに役立ち、推測とメモリ不足エラーを減らすことを目的としています。