Un nuevo estudio cuestiona la dependencia de la precisión y la perplejidad para evaluar la cuantización post-entrenamiento en modelos de lenguaje grandes, demostrando que estas métricas no logran captar cambios conductuales significativos. Los autores introducen "acuerdo de corrección", una métrica a nivel de decisión que mide la superposición de predicciones entre los modelos base y cuantizados, revelando que la divergencia conductual emerge bajo cuantización moderada incluso cuando el rendimiento de la tarea parece preservado.
- El análisis de la cuantización como un operador estructural sobre los pesos de atención identifica puntos de ruptura no lineales a anchos de bit bajos.
- Se encuentra que las proyecciones de consulta y clave son consistentemente más sensibles a la distorsión que las proyecciones de valor y salida.
- El estudio cubre múltiples modelos y esquemas de cuantización que van desde 8-bit hasta 2-bit.
Estos hallazgos exponen una ilusión de equivalencia entre los modelos base y cuantizados, motivando la adopción de métricas de evaluación conductual más allá de las medidas de rendimiento convencionales.