Un investigador independiente auditó cuatro métodos de cuantización post-entrenamiento ampliamente utilizados — AWQ, GPTQ, OWQ y SpQR — para determinar si sus puntuaciones de importancia de canal reflejan con precisión la sensibilidad del peso. Al perturbar canales de peso individuales en los modelos Qwen2.5-0.5B, Pythia-410M y SmolLM2-360M con configuraciones INT3 group-128, el estudio midió el daño real mediante la divergencia KL directa.

  • Los cuatro criterios mostraron un alto acuerdo, pero esto fue en gran medida mecánico debido a compartir una estadística de entrada en lugar de converger hacia la verdad.
  • Cuando se elimina esa estadística compartida, tres de los cuatro métodos apenas rastrean la sensibilidad real.
  • Una puntuación basada en gradientes permaneció robusta y resistió durante todo el proceso de prueba.
  • El autor señala que la validación de extremo a extremo a menudo enmascara una mala selección de importancia porque los pasos de compensación de errores cubren las malas selecciones.

El investigador busca comentarios sobre posibles lagunas metodológicas y espera obtener un aval para enviar el artículo a arXiv (cs.LG).