Un utilisateur signale des problèmes de fiabilité graves lors de l'exécution de Qwen3.6-27B avec les quantifications NVFP4 et FP8 officielles de NVIDIA dans des workflows agents, en contraste avec des performances impeccables sur la base BF16.

  • Le modèle présente des halts en cours de tâche et des boucles d'échec sur un GPU RTX PRO 6000 Blackwell utilisant vLLM 0.24.0.
  • L'augmentation de la pénalité de répétition ne parvient pas à briser les boucles, amenant le modèle à alterner entre deux phrases d'échec distinctes au lieu d'en répéter une seule.
  • La quantification NVFP4 montre une dégradation nettement plus fréquente que FP8, tandis que BF16 reste inchangé.

L'auteur cherche à confirmer si ces problèmes sont des artefacts connus de la quantification bas-bit pour les modèles de raisonnement ou si des ajustements spécifiques de configuration vLLM peuvent les résoudre.