Testes de usuário do impacto da quantização em capacidades específicas do modelo

Um usuário do Reddit realizou testes sistemáticos comparando modelos FP16 com vários níveis de quantização GGUF, decompondo o desempenho por capacidade em vez de usar pontuações agregadas. A análise cobriu matemática (GSM8K), código (HumanEval), raciocínio (ARC-Challenge) e recuperação de conhecimento (MMLU-Pro).

• Em um modelo de 27B, Q4_K_M causou menos de 2% de degradação em tarefas conversacionais, mas reduziu a precisão matemática de múltiplos passos em quase 9%.
• Q5_K_M eliminou efetivamente a lacuna de desempenho matemático em comparação com FP16.
• O autor destaca a falta de dados rigorosos sobre o decaimento do contexto, questionando se os modelos quantizados perdem precisão de recuperação mais rápido que FP16 à medida que as janelas de contexto são preenchidas.

O post argumenta que, embora existam dados da comunidade sobre seleção de modelos, há uma lacuna significativa em orientações para escolher o nível de quantização certo para casos de uso específicos e restrições de hardware.