FitCheck는 PyTorch, CUDA 또는 실제 GPU 하드웨어 없이 LoRA, QLoRA 및 대규모 언어 모델의 전체 파인튜닝에 필요한 최대 VRAM 요구량을 추정하는 새로운 도구입니다.
- Hugging Face의 config.json과 매개변수 수 메타데이터를 분석하여 메모리 분해, 사용 가능한 용량, 여유 공간 및 적합 판정을 보고합니다.
- 이 도구는 모델 가중치와 KV 캐시를 기반으로 한 서빙 추정치를 지원하며, 배치 크기, 시퀀스 길이 및 LoRA 랭크를 탐색하기 위한 조언자를 제공합니다.
- Tesla T4에서의 테스트는 57회 교정 실행에 걸쳐 평균 절대 오차 2.4%를 보였으며 별도의 홀드아웃 테스트에서 적합 경계 판정 12건 중 12건을 정확히 맞췄습니다.
이 도구는 작업을 시작하기 전에 LLM 구성이 GPU 메모리에 맞는지 사용자가 결정하는 데 도움을 주며, 추측과 메모리 부족 오류를 줄이는 것을 목표로 합니다.