Un nouvel outil appelé QuantCheck souligne que le checkpoint final du pré-entraînement peut ne pas être le choix optimal pour la quantification 4 bits, car les benchmarks peuvent rester plats tandis que la fragilité augmente. L'auteur a observé ce motif sur Pythia-160m, où le checkpoint final a subi environ quatre fois plus de dommages à la qualité qu'un checkpoint antérieur de qualité égale.
L'outil est disponible sous forme d'une CLI en une seule commande qui fonctionne sur n'importe quelle suite de checkpoints Hugging Face, permettant aux utilisateurs d'explorer ces problèmes. L'auteur note que bien qu'il s'agisse d'un régime mesurable et non d'une loi universelle, il est corrélé à la compression de rang de la mise à jour moyenne de profondeur.
Les utilisateurs sont encouragés à exécuter l'outil sur leurs propres checkpoints intermédiaires et à rapporter les résultats, y compris les résultats négatifs, afin d'aider à valider l'observation au sein de différentes familles de modèles.