Университетский кластер HPC провел бенчмаркинг квантований Qwen 3.6, обнаружив, что хотя оценки знаний остаются стабильными, форматы пониженной точности значительно ухудшают агентные возможности.
- Результаты GPQA Diamond показывают минимальные вариации на разных уровнях квантования.
- Оценки Terminal-Bench 2 демонстрируют значительную регрессию при квантовании с пониженной точностью.
- Результаты ниже официальных бенчмарков Qwen FP8 из-за более коротких таймаутов (10 минут – 1 час против 3 часов).
- Множественные запуски выявляют существенную вариацию оценок, где плохой запуск с высокой точностью может уступить хорошему запуску с низкой точностью.
Эти выводы помогают пользователям понять компромиссы квантования для агентных задач по сравнению с сохранением знаний.