Пользователь запрашивает рекомендации и помощь в запуске моделей на 35B параметров с использованием формата квантования NVFP4 на GPU NVIDIA RTX 5090. Цель включает поддержку длины контекста 100k+ токенов, желательно с моделями без цензуры или специализированными.

  • Предыдущие попытки запустить AEON-7 Ornith 1.0 35B Uncensored NVFP4 не увенчались успехом, поскольку рекомендуемая команда serve была оптимизирована для оборудования GDX Spark 128GB.
  • Пользователь сообщает об отсутствии проблем с запуском моделей .gguf на 35B параметров, но не смог успешно настроить vLLM для этой конкретной конфигурации.

В посте подчеркиваются текущие проблемы развертывания высокопроизводительных моделей NVFP4 на потребительском оборудовании RTX 5090 с расширенными окнами контекста.