NotKshitiz, LLM 양자화 형식 비교용 LitmusLab CLI 출시

NotKshitiz는 여러 대규모 언어 모델의 양자화 형식을 비교하기 위해 자동화를 설계한 명령줄 도구인 LitmusLab을 출시했습니다. 이 도구는 다양한 양자화 옵션을 수동으로 테스트하는 일반적인 문제를 해결하며, 나란히 평가 프레임워크를 제공합니다.

• FP16, INT8, NF4, FP4, HQQ, Quanto INT8/INT4, AWQ, GPTQ 및 FP8 형식 지원.
• HuggingFace Transformers 및 vLLM 백엔드와 통합.
• 작은 GPU에서 메모리 부족 오류를 방지하기 위한 적응형 VRAM 예산 관리 포함.
• 하나의broken 구성이 전체 실행을 중단하지 않도록 하는 모드별 장애 처리 기능.
• Groq를 통한 선택적 AI 생성 배포 권장 또는 완전 오프라인 결정론적 모드 제공.

이 도구는 하드웨어 VRAM, 속도 및 품질의 트레이드오프에 대한 벤치마킹 프로세스를 자동화하여 양자화 형식 선택을 간소화하는 것을 목표로 합니다.