あるユーザーが、量子化されたGGUFチェックポイントとllama.cppを使用して、MacBook M5 Max（統合メモリ128GB）上でTencentの295B-A21B MoEモデルであるHY3を正常に実行しました。この構成は、DeepSeek v4 Flashと比較して約2倍のトークン生成速度を実現しつつ、同等またはそれ以上の出力品質を維持しています。

  • モデルはHugging FaceユーザーYanissAmzによるUD128「unsloth dynamic」3ビット量子化（107GB）を使用しています。
  • llama.cppにはPR #25395を通じてHY3のアーキテクチャと推論デコーディングのサポートが追加されました。
  • M5 Maxでのベンチマークでは、空のコンテキストで32.4トークン/秒、16Kコンテキストで16.3トークン/秒のデコード速度を示しました。
  • ユーザーは、通常のプロンプトや基本的なツール使用における実用的なパフォーマンスが、以前のDeepSeek v4セットアップよりも優れていると指摘しています。

著者は、HY3を高メモリ消費者向けハードウェアでのローカル展開に向けた有望な大規模MoEオプションとして強調し、他のユーザーにもテストを促しています。