あるRedditユーザーは、FP16モデルと各種GGUF量子化レベルを比較する体系的なテストを実施し、集計スコアではなく機能ごとにパフォーマンスを分解した。分析の対象は、数学（GSM8K）、コード（HumanEval）、推論（ARC-Challenge）、知識想起（MMLU-Pro）であった。

  • 27Bモデルにおいて、Q4_K_Mは会話タスクで2%未満の劣化を引き起こしたが、多段階数学の精度をほぼ9%低下させた。
  • Q5_K_MはFP16と比較して数学のパフォーマンスギャップを実質的に解消した。
  • 著者はコンテキスト減衰に関する厳密なデータの不足を指摘し、コンテキストウィンドウが埋まるにつれて量子化モデルがFP16よりも早く検索精度を失うかどうか疑問を呈している。

投稿は、コミュニティにモデル選択に関するデータが存在する一方で、特定のユースケースやハードウェア制約に適した量子化レベルを選択するためのガイダンスには大きなギャップがあると主張している。