Redditのユーザーが、iq1m形式を使用して、Hugging FaceにHy3モデルの1ビット量子化版をアップロードしました。このチェックポイントの最小バリアントは、サイズが約89 GBです。

  • モデルはHugging FaceのAngelSlim/Hy3-GGUFで利用可能です。
  • 最小端でのファイルサイズ89 GBを実現するためにiq1m圧縮を利用しています。
  • テストでは、重い圧縮にもかかわらず、量子化されたモデルが重要な品質と一貫性を維持していることが示されました。
  • 例としては、HTMLフライトシミュレータの生成、パンダとペリカンのSVG、カピバラの画像の生成が含まれます。

この投稿は、モデルが大きくなるにつれてでも、1ビット量子化がローカル推論に実用的なパフォーマンスを維持できることを強調しています。