Um cluster HPC universitário fez benchmark das quantizações do Qwen 3.6, descobrindo que, embora as pontuações de conhecimento permaneçam estáveis, formatos de menor precisão degradam significativamente as capacidades agênticas.
- Os resultados do GPQA Diamond mostram variação mínima entre diferentes níveis de quantização.
- As pontuações do Terminal-Bench 2 exibem regressão significativa em quantizações de menor precisão.
- Os resultados são inferiores aos benchmarks oficiais FP8 do Qwen devido a configurações de timeout mais curtas (10 minutos a 1 hora vs. 3 horas).
- Múltiplas execuções revelam variação considerável nas pontuações, onde uma execução ruim de alta precisão pode ter desempenho inferior a uma boa execução de baixa precisão.
As descobertas ajudam os usuários a entender as compensações da quantização para tarefas agênticas versus retenção de conhecimento.