Пользователь Reddit провел систематические тесты, сравнивая модели FP16 с различными уровнями квантования GGUF, разбивая производительность по конкретным возможностям, а не используя агрегированные оценки. Анализ охватил математику (GSM8K), код (HumanEval), рассуждения (ARC-Challenge) и вспоминание знаний (MMLU-Pro).

  • На модели 27B квантование Q4_K_M вызвало деградацию менее чем на 2% в задачах общения, но снизило точность многошаговой математики почти на 9%.
  • Q5_K_M практически устранило разрыв в математической производительности по сравнению с FP16.
  • Автор отмечает нехватку строгих данных о деградации контекста, ставя под вопрос, теряют ли квантованные модели точность извлечения быстрее, чем FP16, по мере заполнения окон контекста.

В посте утверждается, что, хотя в сообществе есть данные о выборе моделей, существует значительный пробел в рекомендациях по выбору правильного уровня квантования для конкретных случаев использования и ограничений оборудования.