一位 Reddit 用户上传了 Hy3 模型的 1-bit 量化版本到 Hugging Face，具体使用了 iq1m 格式。该检查点的最小变体大小约为 89 GB。

  • 该模型在 Hugging Face 上以 AngelSlim/Hy3-GGUF 的形式提供。
  • 它利用 iq1m 压缩技术，使最小版本的文件大小达到 89 GB。
  • 测试表明，尽管压缩严重，量化模型仍保留了显著的质量和连贯性。
  • 示例包括生成 HTML 飞行模拟器、熊猫和鹈鹕的 SVG 图像以及水豚的图片。

该帖子强调，即使模型越来越大，1-bit 量化仍能保持可用于本地推理的性能。