Anassbzdd는 GPU나 PyTorch 없이도 LoRA, QLoRA 및 대규모 언어 모델의 전체 파인튜닝에 필요한 피크 VRAM 요구량을 추정하는 도구인 FitCheck를 출시했습니다. 이 추정기는 Hugging Face의 config.json과 매개변수 수 메타데이터를 분석하여 메모리 내역, 사용 가능한 용량, 여유 공간, 그리고fits하는 가장 큰 추정 마이크로 배치 크기를 보고합니다.
- 모델 가중치와 KV cache 기반 서빙 추정치를 지원합니다.
- 배치 크기, 시퀀스 길이 및 LoRA rank를 탐색하기 위한 조언자를 포함합니다.
- 실제 Tesla T4 측정값과 비교하여 57회 교정 실행에서 2.4%의 평균 절대 오차를 달성했습니다.
- 별도의 12회 실행 홀드아웃 테스트에서 12/12개의 올바른 적합 경계 판정을 생성했습니다.
이 도구는 LLM 작업을 시작하기 전에 사용자의 구성이 GPU 메모리에 맞는지 확인하는 데 도움이 되며, 추측과 메모리 부족 오류를 줄이는 것을 목표로 합니다.