あるユーザーが、float8精度を使用して16 GBのVRAMを持つRTX 5060 Ti上でQwen3-30B-A3Bモデルを50〜54トークン/秒で実行可能にするカスタムCUDAおよびC++コードを開発しました。

  • この実装は、n-cpu-moeで約33〜34 tok/sで動作するllama.cppと比較して、約50%の速度向上を実現しています。
  • パフォーマンスの向上は、NeurIPS、ICML、EuroSysの論文で見つかった最先端のソリューションを組み合わせて得られました。
  • ソースコードはリポジトリから入手可能です。

著者は、このようなエンジンが消費者向けハードウェア上でローカル推論の新たな機会を提供し、集中型データセンターに対するよりプライベートで安価、かつ環境に優しい代替手段になると示唆しています。