Las pruebas de usuarios del impacto de la cuantización en capacidades específicas del modelo

Un usuario de Reddit realizó pruebas sistemáticas comparando modelos FP16 con varios niveles de cuantización GGUF, desglosando el rendimiento por capacidad en lugar de usar puntuaciones agregadas. El análisis cubrió matemáticas (GSM8K), código (HumanEval), razonamiento (ARC-Challenge) y recuperación de conocimientos (MMLU-Pro).

• En un modelo de 27B, Q4_K_M causó menos del 2% de degradación en tareas conversacionales pero redujo la precisión matemática de múltiples pasos en casi el 9%.
• Q5_K_M eliminó efectivamente la brecha de rendimiento matemático en comparación con FP16.
• El autor destaca la falta de datos rigurosos sobre la decadencia del contexto, cuestionando si los modelos cuantizados pierden precisión de recuperación más rápido que FP16 a medida que se llenan las ventanas de contexto.

El post argumenta que, aunque existen datos comunitarios sobre la selección de modelos, hay una brecha significativa en la orientación para elegir el nivel de cuantización adecuado para casos de uso específicos y restricciones de hardware.