Un développeur a réussi à exécuter le modèle DeepSeek V4 Flash sur une seule carte GPU NVIDIA RTX 6000 Pro en utilisant une version personnalisée de vLLM appelée vLLM-Moet. Cette réalisation est rendue possible grâce à des techniques de compression spécifiques qui permettent au grand modèle linguistique de tenir dans la VRAM limitée du matériel grand public.

  • La méthode consiste à compresser les experts routés en 2 bits tout en conservant les experts fp4, permettant ainsi au modèle de se charger entièrement sur un seul GPU.
  • Le chargement initial nécessite environ 150 Go de RAM ou un espace d'échange étendu pour gérer le fractionnement safetensor avant que le modèle ne soit transféré vers la VRAM.
  • Les benchmarks sur la RTX 6000 Pro montrent des vitesses de génération de tokens allant d'environ 100 à 134 tokens par seconde selon la longueur du contexte.
  • La technique prend également en charge GLM 5.2, bien que cette configuration nécessite au moins deux GPU RTX 6000 Pro.

Cette prouesse démontre que des modèles haute performance comme DeepSeek V4 Flash peuvent être accessibles sur des GPU grand public uniques grâce à des modifications spécialisées du moteur et à la compression des experts.