用户在 RTX Pro 4500 上测试 PrismaQuant NVFP4 模型

一位用户通过 Oculink 在 RTX Pro 4500 上使用新的 PrismaQuant 方法对 Qwen3.6-27B 模型进行量化基准测试，以解决先前 NVFP4 实现中遇到的工具调用错误。

测试使用 vLLM 0.24 将 PrismaSCOUT（~5.31 位，~20 GB）和 PrismaAURA（~5.5 位，~23 GB）与其他量化方法进行了比较。

PrismaQuant 为每个线性层选择最佳格式，以在特定比特深度下最大化模型能力，尽管它目前仅在 vLLM 中支持 Blackwell 架构。

KLD 结果表明，与 PrismaSCOUT（0.055）相比，PrismaAURA 与 BF16 的偏差更低（0.0342），同时保持了更高的精度和更大的权重大小。