一位用户正在寻求建议和协助，以便在 NVIDIA RTX 5090 GPU 上使用 NVFP4 量化格式运行 35B 参数模型。目标包括支持 100k+ token 的上下文长度，最好使用无审查或专用模型。

  • 之前尝试运行 AEON-7 Ornith 1.0 35B Uncensored NVFP4 失败，因为推荐的 serve 命令是针对 GDX Spark 128GB 硬件优化的。
  • 用户报告称运行 35B .gguf 模型没有问题，但一直无法为这个特定设置成功配置 vLLM。

该帖子强调了在具有扩展上下文窗口的消费级 RTX 5090 硬件上部署高容量 NVFP4 模型面临的当前挑战。