Un utilisateur cherche à exécuter des modèles NVFP4 de 35B sur une RTX 5090 avec un long contexte

Un utilisateur demande des recommandations et de l'aide pour exécuter des modèles de 35 milliards de paramètres utilisant le format de quantification NVFP4 sur un GPU NVIDIA RTX 5090. L'objectif inclut la prise en charge d'une longueur de contexte de plus de 100k tokens, idéalement avec des modèles non censurés ou spécialisés.

• Les tentatives précédentes pour exécuter AEON-7 Ornith 1.0 35B Uncensored NVFP4 ont échoué, car la commande serve recommandée était optimisée pour le matériel GDX Spark 128GB.
• L'utilisateur signale qu'il n'y a aucun problème pour exécuter des modèles .gguf de 35B, mais il n'a pas réussi à configurer correctement vLLM pour cette configuration spécifique.

Le post met en évidence les défis actuels du déploiement de modèles NVFP4 à haute capacité sur du matériel RTX 5090 grand public avec des fenêtres de contexte étendues.