用户测试量化对特定模型能力的影响

一位 Reddit 用户进行了系统测试，将 FP16 模型与各种 GGUF 量化级别进行比较，按能力分解性能，而不是使用聚合分数。分析涵盖了数学 (GSM8K)、代码 (HumanEval)、推理 (ARC-Challenge) 和知识回忆 (MMLU-Pro)。

• 在 27B 模型上，Q4_K_M 导致对话任务的退化不到 2%，但多步数学准确性下降了近 9%。
• Q5_K_M 有效地消除了与 FP16 相比的数学性能差距。
• 作者强调了关于上下文衰减的严格数据的缺乏，质疑随着上下文窗口填满，量化模型是否比 FP16 更快地丢失检索准确性。

该帖子认为，虽然社区中存在有关模型选择的数据，但在为特定用例和硬件约束选择正确的量化级别方面存在重大指导缺口。