Пользователь тестирует модели PrismaQuant NVFP4 на RTX Pro 4500

Пользователь проводит бенчмарки моделей Qwen3.6-27B, квантованных с помощью нового метода PrismaQuant на RTX Pro 4500 через Oculink, чтобы устранить ошибки вызова инструментов, возникающие при предыдущих реализациях NVFP4.

Тестирование сравнивает PrismaSCOUT (~5.31 бит, ~20 ГБ) и PrismaAURA (~5.5 бит, ~23 ГБ) с другими методами квантования с использованием vLLM 0.24.

PrismaQuant выбирает оптимальный формат для каждого линейного слоя, чтобы максимизировать возможности модели при определенных глубинах бит, хотя в настоящее время он поддерживает только архитектуру Blackwell в vLLM.

Результаты KLD показывают, что PrismaAURA имеет меньшее расхождение с BF16 (0.0342) по сравнению с PrismaSCOUT (0.055), сохраняя при этом более высокую точность и больший размер весов.