あるユーザーが、RTX 4090のようなコンシューマーハードウェア上でQwen3.6-27Bモデルのローカル推論を対象とした実験的なMITライセンスのStrata v0.1.39フォークであるJuud_engineをリリースしました。このプロジェクトは、2つのオプトインCPU側のデコード変更を導入しています：CPU専門家バッチ後のワーカーのスピン短縮と、GPUに完全にルーティングされるトークンに対するCPU活性化量子化のスキップ。

  • i7-13700およびRTX 4090上でのベンチマークでは、様々なコンテキスト長にわたり、中央値のペアリングデコードスループットが3.1–9.1%改善し、レイテンシが0.5–5.6%向上しました。
  • 異なるキャッシュ設定を使用した別の制御実行では、9.6–15.6%のスループット向上が報告されましたが、テスト構成間で出力の一貫性はばらつきました。
  • リポジトリには、ソース差分、ビルド手順、モデルハッシュ、および独立した再現のための検証スクリプトが含まれています。

著者はベンチマーク手法に関するフィードバックを呼びかけ、パフォーマンス主張を検証するための独立した再現を求めています。