Un desarrollador ha ejecutado con éxito el modelo DeepSeek V4 Flash en una única GPU NVIDIA RTX 6000 Pro utilizando una versión personalizada de vLLM llamada vLLM-Moet. Este logro es posible gracias a técnicas específicas de compresión que permiten que el modelo de lenguaje grande se ajuste a la VRAM limitada del hardware de consumo.

  • El método implica comprimir expertos enrutados a 2 bits mientras se mantienen los expertos fp4, permitiendo cargar el modelo por completo en una única GPU.
  • La carga inicial requiere aproximadamente 150 GB de RAM o espacio de intercambio extendido para manejar la fragmentación de safetensor antes de que el modelo se mueva a VRAM.
  • Las pruebas en la RTX 6000 Pro muestran velocidades de generación de tokens que oscilan entre aproximadamente 100 y 134 tokens por segundo dependiendo de la longitud del contexto.
  • Se informa que la técnica también es compatible con GLM 5.2, aunque esa configuración requiere al menos dos GPUs RTX 6000 Pro.

Este logro demuestra que modelos de alto rendimiento como DeepSeek V4 Flash pueden ser accesibles en GPUs de consumo individuales mediante modificaciones especializadas del motor y compresión de expertos.