LordNeelは、Tencentの295B MoE Hy3モデルと、音声対応の30BハイブリッドMoEであるNemotron-Labs-Audex-30B-A3BのGGUF量子化セットを公開し、完全なベンチマークデータと再現可能な指標を提供しました。

  • Hy3量子化にはQ6_K（226 GiB）、Q4_K_M（167 GiB）、Q3_K_L（143 GiB）、IQ2_M（90 GiB）が含まれ、品質はWikiText-2上のBF16参照ロジットに対して測定されます。
  • Nemotron-Labs-Audex量子化は、テキスト専用のGGUFと完全な語彙のオーディオ生成ファイルを提供し、より小さなファイルサイズと高いスループットを実現するMXFP4_MOEを含みます。
  • 両方のリポジトリにはチャート、チェックサム、量子化計画、および各量子化ごとのログが含まれており、主観的な品質主張なしに再現性を保証します。

このリリースにより、ユーザーはこれらの大規模モデルをローカルで実行するための透明でデータ駆動型のオプションを利用でき、特定のハードウェアの推奨事項やテンソルフォールバックのような既知の制限も含まれています。