Un cluster HPC universitaire a évalué les quantisations de Qwen3.6, constatant que si les scores de connaissances restent stables, les formats de précision inférieure dégradent considérablement les capacités agentic.
- Les résultats GPQA Diamond montrent une variation minimale à travers les différents niveaux de quantisation.
- Les scores Terminal-Bench 2 présentent une régression significative dans les quantisations de précision inférieure.
- Les résultats sont inférieurs aux benchmarks FP8 officiels de Qwen en raison de délais d'expiration plus courts (10 minutes à 1 heure vs. 3 heures).
- Plusieurs exécutions révèlent une variation considérable des scores, où une exécution haute précision médiocre peut sous-performer par rapport à une bonne exécution basse précision.
Ces résultats aident les utilisateurs à comprendre les compromis de la quantisation pour les tâches agentic par rapport à la rétention des connaissances.