Usuário testa modelos PrismaQuant NVFP4 na RTX Pro 4500

Um usuário faz benchmarks de modelos Qwen3.6-27B quantizados com o novo método PrismaQuant em uma RTX Pro 4500 via Oculink para resolver erros de chamada de ferramentas encontrados com implementações anteriores de NVFP4.

O teste compara PrismaSCOUT (~5.31 bits, ~20 GB) e PrismaAURA (~5.5 bits, ~23 GB) contra outros métodos de quantização usando vLLM 0.24.

PrismaQuant seleciona o formato ideal para cada camada linear para maximizar as capacidades do modelo em profundidades de bits específicas, embora atualmente suporte apenas a arquitetura Blackwell no vLLM.

Os resultados KLD indicam que PrismaAURA tem menor divergência de BF16 (0.0342) em comparação ao PrismaSCOUT (0.055), enquanto mantém maior precisão e tamanho de peso maior.