Um usuário do Reddit realizou uma segunda rodada do "Döner Bench" para comparar como diferentes níveis de quantização afetam as capacidades de geração de código dos modelos Qwen 3.6 e Gemma 4.

  • O teste envolveu gerar um arquivo HTML com uma animação de canvas de um espeto de kebab giratório usando prompts idênticos para cada variante do modelo.
  • Os resultados foram coletados executando cada combinação de modelo e quantização nove vezes, selecionando o melhor resultado subjetivo enquanto descartava loops ou timeouts.
  • Qwen 3.6 27B IQ2 M produziu alguns dos melhores resultados apesar da menor fidelidade, enquanto Gemma 4 31B mostrou estabilidade mesmo com quantização IQ2 baixa.
  • Taxas de bits mais altas como Q8 K XL geralmente preservavam mais "nuance" na animação, enquanto bits mais baixos como IQ2 causavam artefatos visuais ou instabilidade.

A comparação destaca como a quantização impacta a qualidade do código gerado e da renderização para LLMs locais.