あるユーザーが、以前のNVFP4実装で遭遇したツール呼び出しエラーを解決するため、Oculink経由のRTX Pro 4500上で新しいPrismaQuant手法で量子化されたQwen3.6-27Bモデルのパフォーマンスベンチマークを実施しました。

このテストでは、vLLM 0.24を使用して、PrismaSCOUT（約5.31ビット、約20 GB）とPrismaAURA（約5.5ビット、約23 GB）を他の量子化手法と比較しています。

PrismaQuantは、特定のビット深度でモデルの能力を最大化するために各線形層に最適なフォーマットを選択しますが、現在vLLMではBlackwellアーキテクチャのみをサポートしています。

KLDの結果によると、PrismaAURAはPrismaSCOUT（0.055）と比較してBF16からの発散が低く（0.0342）、より高い精度と大きな重みサイズを維持しています。