Пользователь сообщает о серьезных проблемах с надежностью при запуске Qwen3.6-27B с квантованиями NVFP4 от NVIDIA и официальным FP8 в агентских рабочих процессах, что контрастирует с безупречной работой базовой версии BF16.

  • Модель демонстрирует остановку посередине задачи и зацикливание ошибок на GPU RTX PRO 6000 Blackwell при использовании vLLM 0.24.0.
  • Увеличение штрафа за повторение не помогает разорвать циклы, заставляя модель чередоваться между двумя различными фразами ошибки вместо повторения одной.
  • Квантование NVFP4 демонстрирует значительно более частую деградацию по сравнению с FP8, в то время как BF16 остается unaffected.

Автор ищет подтверждение того, являются ли эти проблемы известными артефактами квантования низкой разрядности для моделей мышления или если конкретные настройки конфигурации vLLM могут их решить.