Пользователь сообщает о запуске модели DeepSeek V4 Flash с использованием квантования UD-Q2_K_XL от unsloth на RTX 4090 с 128 ГБ ОЗУ DDR5 через llama.cpp. Настройка обеспечила скорость генерации 10,9 токенов в секунду, что автор считает приемлемым для агентных задач, несмотря на то, что это медленнее, чем Qwen 3.6 27B.
- Привязка физических ядер процессора Intel Core Ultra 7 270k удвоила скорость вывода с 6,8 до 11 ток/с.
- Отключение flash attention (`-fa off`) и настройка квантования контекста были необходимы для предотвращения переполнения буфера CUDA.
Вариант квантования IQ4_NL был слишком медленным (8,1 т/с) и ограничен окном контекста в 10k.
Автор предполагает, что при дальнейшей оптимизации эта конфигурация потенциально может заменить Qwen 3.6 27B для пользователей с видеокартами на 24 ГБ.