一位开发者通过使用名为 vLLM-Moet 的定制版 vLLM，成功在单张 NVIDIA RTX 6000 Pro GPU 上运行了 DeepSeek V4 Flash 模型。这一成就得益于特定的压缩技术，使得大型语言模型能够适应消费级硬件有限的显存。

  • 该方法涉及将路由专家压缩至 2-bit，同时保留 fp4 专家，使模型能够完全加载到单张 GPU 上。
  • 初始加载需要约 150 GB 的 RAM 或扩展交换空间来处理 safetensor 分片，之后模型才会移入 VRAM。
  • 在 RTX 6000 Pro 上的基准测试显示，根据上下文长度不同，令牌生成速度大约在每秒 100 到 134 个令牌之间。
  • 据报道，该技术还支持 GLM 5.2，尽管该配置至少需要两张 RTX 6000 Pro GPU。

这一壮举表明，通过专门的引擎修改和专家压缩，像 DeepSeek V4 Flash 这样的高性能模型可以在单张消费级 GPU 上实现可用。