Une audit révèle que les métriques de saillance AWQ, GPTQ et OWQ reposent sur une statistique d'entrée partagée

Un chercheur indépendant a audité quatre méthodes de quantisation post-entraînement largement utilisées—AWQ, GPTQ, OWQ et SpQR—pour déterminer si leurs scores d'importance des canaux reflètent avec précision la sensibilité des poids. En perturbant les canaux de poids individuels dans les modèles Qwen2.5-0.5B, Pythia-410M et SmolLM2-360M aux paramètres INT3 group-128, l'étude a mesuré les dommages réels via la divergence KL avant.

• Les quatre critères ont montré un accord élevé, mais cela était largement mécanique dû au partage d'une seule statistique d'entrée plutôt qu'à une convergence vers la vérité.
• Lorsque cette statistique partagée est supprimée, trois des quatre méthodes suivent à peine la sensibilité réelle.
• Un score basé sur le gradient est resté robuste et a tenu tout au long du processus de test.
• L'auteur note que la validation de bout en bout masque souvent un mauvais choix d'importance car les étapes de compensation d'erreur couvrent les mauvaises sélections.

Le chercheur sollicite des commentaires sur d'éventuels trous méthodologiques et cherche une approbation pour soumettre l'article à arXiv (cs.LG).