Un utilisateur a effectué des benchmarks de modèles Qwen3.6-27B quantifiés avec la nouvelle méthode PrismaQuant sur une RTX Pro 4500 via Oculink, afin de résoudre les erreurs d'appel d'outil rencontrées avec les implémentations NVFP4 précédentes.
Les tests comparent PrismaSCOUT (~5,31 bits, ~20 Go) et PrismaAURA (~5,5 bits, ~23 Go) à d'autres méthodes de quantification en utilisant vLLM 0.24.
PrismaQuant sélectionne le format optimal pour chaque couche linéaire afin de maximiser les capacités du modèle à des profondeurs de bits spécifiques, bien qu'il ne prenne actuellement en charge que l'architecture Blackwell dans vLLM.
Les résultats KLD indiquent que PrismaAURA présente une divergence inférieure par rapport à BF16 (0,0342) par rapport à PrismaSCOUT (0,055), tout en maintenant une précision plus élevée et une taille de poids plus grande.