Un usuario informa haber ejecutado el modelo DeepSeek V4 Flash utilizando la cuantización UD-Q2_K_XL de unsloth en una RTX 4090 con 128 GB de RAM DDR5 a través de llama.cpp. La configuración logró una velocidad de generación de 10,9 tokens por segundo, lo que el autor considera razonable para tareas agénticas, a pesar de ser más lento que Qwen 3.6 27B.
- Fijar los núcleos físicos en una CPU Intel Core Ultra 7 270k duplicó la velocidad de inferencia de 6,8 a 11 tok/s.
- Desactivar flash attention (`-fa off`) y ajustar la cuantización del contexto fueron necesarios para evitar un desbordamiento del búfer CUDA.
La variante de cuantización IQ4_NL fue demasiado lenta (8,1 t/s) y limitada a una ventana de contexto de 10k.
El autor sugiere que con una optimización adicional, esta configuración podría potencialmente reemplazar a Qwen 3.6 27B para usuarios con GPUs de 24 GB.