Quantização UD-Q2_K_XL do DeepSeek V4 Flash roda na RTX 4090 com llama.cpp

Um usuário relata estar executando o modelo DeepSeek V4 Flash usando a quantização UD-Q2_K_XL da unsloth em uma RTX 4090 com 128 GB de RAM DDR5 via llama.cpp. A configuração alcançou uma velocidade de geração de 10,9 tokens por segundo, que o autor considera razoável para tarefas agênticas, apesar de ser mais lenta que Qwen 3.6 27B.

• Fixar núcleos físicos em uma CPU Intel Core Ultra 7 270k dobrou a velocidade de inferência de 6,8 para 11 tok/s.
• Desativar flash attention (`-fa off`) e ajustar a quantização do contexto foram necessários para evitar estouro do buffer CUDA.

A variante de quantização IQ4_NL foi muito lenta (8,1 t/s) e limitada a uma janela de contexto de 10k.

O autor sugere que, com otimizações adicionais, esta configuração poderia potencialmente substituir Qwen 3.6 27B para usuários com GPUs de 24 GB.