사용자가 RTX Pro 4500에서 PrismaQuant NVFP4 모델 테스트

한 사용자가 이전 NVFP4 구현에서 encountered 한 도구 호출 오류를 해결하기 위해 Oculink를 통해 RTX Pro 4500에서 새로운 PrismaQuant 방식으로 양자화된 Qwen3.6-27B 모델의 벤치마크를 수행했습니다.

이 테스트는 vLLM 0.24를 사용하여 PrismaSCOUT(~5.31비트, ~20 GB)과 PrismaAURA(~5.5비트, ~23 GB)를 다른 양자화 방식과 비교합니다.

PrismaQuant는 특정 비트 깊이에서 모델의 능력을 최대화하기 위해 각 선형 레이어에 최적의 형식을 선택하지만, 현재 vLLM에서는 Blackwell 아키텍처만 지원합니다.

KLD 결과에 따르면 PrismaAURA는 PrismaSCOUT(0.055) 대비 BF16과의 분산이 낮고(0.0342), 더 높은 정밀도와 큰 가중치 크기를 유지합니다.