Um novo estudo desafia a dependência da precisão e da perplexidade para avaliar a quantização pós-treinamento em grandes modelos de linguagem, demonstrando que essas métricas falham em capturar mudanças comportamentais significativas. Os autores introduzem "acordo de correção", uma métrica em nível de decisão que mede a sobreposição de previsões entre os modelos base e quantizados, revelando que a divergência comportamental emerge sob quantização moderada mesmo quando o desempenho da tarefa parece preservado.
- A análise da quantização como um operador estrutural nos pesos de atenção identifica pontos de ruptura não lineares em larguras de bit baixas.
- As projeções de consulta e chave são encontradas sendo consistentemente mais sensíveis à distorção do que as projeções de valor e saída.
- O estudo abrange múltiplos modelos e esquemas de quantização que vão de 8-bit até 2-bit.
Esses achados expõem uma ilusão de equivalência entre os modelos base e quantizados, motivando a adoção de métricas de avaliação comportamental além das medidas de desempenho convencionais.