Qwen3.6-27B의 NVFP4 및 FP8 양자화가 Blackwell GPU에서 에이전트 루프를 유발

한 사용자는 에전틱 워크플로우에서 NVIDIA의 NVFP4 및 공식 FP8 양자화와 함께 Qwen3.6-27B를 실행할 때 심각한 신뢰성 문제를 보고했으며, 이는 BF16 기반에서 완벽하게 작동하는 것과 대조됩니다.

• vLLM 0.24.0을 사용하는 RTX PRO 6000 Blackwell GPU에서 모델은 작업 중간에 중단되고 실패 루프에 빠집니다.
• 반복 패널티를 증가시켜도 루프가 끊어지지 않으며, 단일 구문을 반복하는 대신 두 가지 다른 실패 구문 사이를 오갑니다.
• NVFP4 양자화는 FP8보다 훨씬 더 빈번한 성능 저하를 보이며, BF16은 영향을 받지 않습니다.

저자는 이러한 문제가 사고 모델의 저비트 양자화에 대한 알려진 아티팩트인지, 아니면 특정 vLLM 구성 조정을 통해 해결할 수 있는지 확인하고자 합니다.