Un utilisateur de Reddit a réalisé des tests systématiques comparant les modèles FP16 à différents niveaux de quantification GGUF, en détaillant les performances par capacité plutôt qu'en utilisant des scores agrégés. L'analyse couvrait les mathématiques (GSM8K), le code (HumanEval), le raisonnement (ARC-Challenge) et la restitution des connaissances (MMLU-Pro).

  • Sur un modèle de 27B, Q4_K_M a provoqué moins de 2 % de dégradation dans les tâches conversationnelles mais a fait chuter la précision des mathématiques multi-étapes de près de 9 %.
  • Q5_K_M a efficacement éliminé l'écart de performance mathématique par rapport à FP16.
  • L'auteur souligne le manque de données rigoureuses sur la dégradation du contexte, s'interrogeant sur le fait que les modèles quantifiés perdent-ils leur précision de récupération plus rapidement que FP16 au fur et à mesure que les fenêtres de contexte se remplissent.

L'article soutient qu'alors que des données communautaires existent sur la sélection des modèles, il existe un manque important de conseils pour choisir le bon niveau de quantification pour des cas d'utilisation spécifiques et des contraintes matérielles.