あるRedditユーザーは、FP8 safetensorsで重大なパフォーマンス劣化を経験した後、Qwen 2.5-27Bモデル用の本番環境対応のVLLM設定を求めています。

ユーザーによると、FP8ウェイトを使用すると、高同時実行負荷下で特に、llama.cppバリアントと比較して品質ベンチマークがほぼ20%低下するという報告があります。

彼らはこれらの問題を解決するために、動作するVLLM設定を共有するようコミュニティに呼びかけています。