あるユーザーが、ROCmFP4 と iMatrix の技術を活用した Qwen 3.5 122B モデルのカスタム GGUF 量子化「Heretic」をリリースしました。

  • チェックポイントは、100億のアクティブパラメータを持つ Strix Halo ハードウェア向けに設計されています。
  • 約 60.70 GiB のメモリが必要です。
  • ベンチマークによると、BF16 精度で秒間 28.45 トークンのパフォーマンスを示します。
  • このモデルは、パープレキシティ (KLD) が 0.100716 で、パイプラインスループットが秒間 353.3 トークンを達成しています。