Qwen3.6-27BのNVFP4およびFP8量子化がBlackwell GPUでエージェントループを引き起こす

あるユーザーは、エージェンティックなワークフローにおいてNVIDIAのNVFP4および公式FP8量子化を使用した際にQwen3.6-27Bで深刻な信頼性の問題が発生し、BF16ベースラインでは完璧なパフォーマンスを示すことと対比させながら報告しています。

• vLLM 0.24.0を使用するRTX PRO 6000 Blackwell GPU上で、モデルはタスク途中の停止と失敗ループを示します。
• 繰り返しペナルティを増加させてもループを解消できず、1つのフレーズを繰り返すのではなく、2つの異なる失敗フレーズの間で交互に切り替えるようになります。
• NVFP4量子化はFP8よりも著しく頻繁な劣化を示しますが、BF16は影響を受けません。

著者は、これらの問題が思考モデルにおける低ビット量子化の既知のアーティファクトなのか、それとも特定のvLLM設定の調整で解決できるものなのかを確認しようとしています。