Un usuario realiza benchmarks de modelos Qwen3.6-27B cuantizados con el nuevo método PrismaQuant en una RTX Pro 4500 a través de Oculink para resolver errores de llamada de herramientas encontrados con implementaciones anteriores de NVFP4.
La prueba compara PrismaSCOUT (~5.31 bits, ~20 GB) y PrismaAURA (~5.5 bits, ~23 GB) contra otros métodos de cuantización usando vLLM 0.24.
PrismaQuant selecciona el formato óptimo para cada capa lineal para maximizar las capacidades del modelo a profundidades de bits específicas, aunque actualmente solo soporta la arquitectura Blackwell en vLLM.
Los resultados KLD indican que PrismaAURA tiene una divergencia menor de BF16 (0.0342) en comparación con PrismaSCOUT (0.055), mientras mantiene una mayor precisión y un tamaño de peso más grande.