Une nouvelle étude remet en question la dépendance à la précision et à la perplexité pour évaluer la quantisation post-entraînement dans les grands modèles de langage, démontrant que ces métriques ne parviennent pas à capturer des changements comportementaux significatifs. Les auteurs introduisent l'« accord de correction », une métrique au niveau décisionnel mesurant le chevauchement des prédictions entre les modèles de base et quantisés, révélant que la divergence comportementale émerge sous une quantisation modérée même lorsque la performance de la tâche semble préservée.
- L'analyse de la quantisation comme opérateur structurel sur les poids d'attention identifie des points de rupture non linéaires à faible largeur de bits.
- Les projections de requête et de clé s'avèrent systématiquement plus sensibles à la distorsion que les projections de valeur et de sortie.
- L'étude couvre plusieurs modèles et schémas de quantisation allant de 8 bits jusqu'à 2 bits.
Ces résultats exposent l'illusion d'équivalence entre les modèles de base et quantisés, motivant l'adoption de métriques d'évaluation comportementale au-delà des mesures de performance conventionnelles.