Um pesquisador independente auditou quatro métodos de quantização pós-treinamento amplamente utilizados — AWQ, GPTQ, OWQ e SpQR — para determinar se suas pontuações de importância de canal refletem com precisão a sensibilidade do peso. Ao perturbar canais de peso individuais nos modelos Qwen2.5-0.5B, Pythia-410M e SmolLM2-360M nas configurações INT3 group-128, o estudo mediu o dano real por meio da divergência KL direta.

  • Os quatro critérios mostraram alto acordo, mas isso foi em grande parte mecânico devido ao compartilhamento de uma estatística de entrada em vez de convergir para a verdade.
  • Quando essa estatística compartilhada é removida, três dos quatro métodos mal rastreiam a sensibilidade real.
  • Uma pontuação baseada em gradiente permaneceu robusta e resistiu durante todo o processo de teste.
  • O autor observa que a validação de ponta a ponta frequentemente mascara uma má seleção de importância porque as etapas de compensação de erros cobrem as más seleções.

O pesquisador está buscando feedback sobre possíveis lacunas metodológicas e procurando um endosso para submeter o artigo ao arXiv (cs.LG).