Un clúster HPC universitario evaluó las cuantizaciones de Qwen 3.6, descubriendo que aunque las puntuaciones de conocimiento permanecen estables, los formatos de menor precisión degradan significativamente las capacidades agénicas.
- Los resultados de GPQA Diamond muestran variación mínima entre diferentes niveles de cuantización.
- Las puntuaciones de Terminal-Bench 2 exhiben una regresión significativa en cuantizaciones de menor precisión.
- Los resultados son inferiores a los benchmarks oficiales FP8 de Qwen debido a configuraciones de tiempo de espera más cortas (10 minutos a 1 hora frente a 3 horas).
- Múltiples ejecuciones revelan una variación considerable en las puntuaciones, donde una ejecución de alta precisión deficiente puede tener un rendimiento inferior a una buena ejecución de baja precisión.
Los hallazgos ayudan a los usuarios a comprender las compensaciones de la cuantización para tareas agénicas frente a la retención de conocimiento.