Um desenvolvedor executou com sucesso o modelo DeepSeek V4 Flash em uma única GPU NVIDIA RTX 6000 Pro utilizando uma versão personalizada do vLLM chamada vLLM-Moet. Essa conquista é possível graças a técnicas específicas de compressão que permitem que o modelo de linguagem grande caiba na VRAM limitada do hardware de consumo.

  • O método envolve comprimir especialistas roteados para 2 bits enquanto mantém os especialistas fp4, permitindo que o modelo seja carregado inteiramente em uma única GPU.
  • O carregamento inicial requer aproximadamente 150 GB de RAM ou espaço de troca estendido para lidar com a fragmentação do safetensor antes que o modelo seja movido para a VRAM.
  • Os benchmarks na RTX 6000 Pro mostram velocidades de geração de tokens variando de aproximadamente 100 a 134 tokens por segundo, dependendo do comprimento do contexto.
  • A técnica também reportedly suporta GLM 5.2, embora essa configuração exija pelo menos duas GPUs RTX 6000 Pro.

Esta façanha demonstra que modelos de alto desempenho como o DeepSeek V4 Flash podem ser acessíveis em GPUs de consumo individuais por meio de modificações especializadas do mecanismo e compressão de especialistas.