あるユーザーが、高コンテキストウィンドウサポートを備えた費用対効果の高いコード生成を対象に、Qwen3.6-27Bモデルを実行するためのクアッドNVIDIA RTX 5060 Tiセットアップをベンチマークしました。

この構成では、精度と速度を最大化するために、Q8量子化、FP16キーバリューキャッシュ、およびマルチトークン予測（MTP）を有効にしてモデルを実行しています。

Vast AIインスタンスでのテストでは、256Kのコンテキスト長において、コールドプレフィルで608 tok/s、デコーディングで52.2 tok/sという結果を得ました。 著者は、この構成をデュアルRTX 3090やMac M5 Maxなどの代替案と比較し、クアッド5060 Tiが密なモデルに対してより優れた価値とパフォーマンスを提供していると指摘しています。

このセットアップは、2,000ドルのハードウェア予算内で最先端のコード生成に対して優れた推論速度を提供します。