El usuario busca ejecutar modelos NVFP4 de 35B en una RTX 5090 con contexto largo

Un usuario está solicitando recomendaciones y asistencia para ejecutar modelos de 35B parámetros utilizando el formato de cuantización NVFP4 en una GPU NVIDIA RTX 5090. El objetivo incluye admitir una longitud de contexto de 100k+ tokens, idealmente con modelos sin censura o especializados.

• Los intentos anteriores de ejecutar AEON-7 Ornith 1.0 35B Uncensored NVFP4 fallaron, ya que el comando serve recomendado estaba optimizado para hardware GDX Spark 128GB.
• El usuario informa que no tiene problemas ejecutando modelos .gguf de 35B parámetros, pero ha sido incapaz de configurar correctamente vLLM para esta configuración específica.

El post destaca los desafíos actuales al desplegar modelos NVFP4 de alta capacidad en hardware RTX 5090 de gama de consumidor con ventanas de contexto extendidas.