Exécution de la quantification UD-Q2_K_XL de DeepSeek V4 Flash sur RTX 4090 avec llama.cpp

Un utilisateur rapporte avoir exécuté le modèle DeepSeek V4 Flash, quantifié avec la méthode UD-Q2_K_XL d'unsloth, sur une RTX 4090 disposant de 128 Go de RAM DDR5 via llama.cpp. Cette configuration a atteint une vitesse de génération de 10,9 tok/s, ce que l'auteur juge raisonnable pour des tâches agentices, bien que plus lente que Qwen 3.6-27B.

• L'attribution fixe des cœurs physiques sur un processeur Intel Core Ultra 7 270k a doublé la vitesse d'inférence, passant de 6,8 à 11 tok/s.
• La désactivation de l'attention flash (`-fa off`) et l'ajustement de la quantification du contexte étaient nécessaires pour éviter un débordement du tampon CUDA.
• La variante de quantification IQ4_NL était trop lente (8,1 t/s) et limitée à une fenêtre de contexte de 10k.

L'auteur suggère qu'avec des optimisations supplémentaires, cette configuration pourrait potentiellement remplacer Qwen 3.6-27B pour les utilisateurs disposant de cartes graphiques de 24 Go.