Usuário busca executar modelos NVFP4 de 35B na RTX 5090 com contexto longo

Um usuário está solicitando recomendações e assistência para executar modelos de 35B parâmetros usando o formato de quantização NVFP4 em uma GPU NVIDIA RTX 5090. O objetivo inclui suportar um comprimento de contexto de 100k+ tokens, idealmente com modelos sem censura ou especializados.

• Tentativas anteriores de executar AEON-7 Ornith 1.0 35B Uncensored NVFP4 falharam, pois o comando serve recomendado foi otimizado para hardware GDX Spark 128GB.
• O usuário relata não ter problemas ao executar modelos .gguf de 35B parâmetros, mas não conseguiu configurar corretamente o vLLM para esta configuração específica.

O post destaca os desafios atuais na implantação de modelos NVFP4 de alta capacidade em hardware RTX 5090 de consumo com janelas de contexto estendidas.