Un usuario de Reddit ha subido una versión cuantizada de 1 bit del modelo Hy3 a Hugging Face, utilizando específicamente el formato iq1m. La variante más pequeña de este checkpoint tiene un tamaño aproximado de 89 GB.

  • El modelo está disponible como AngelSlim/Hy3-GGUF en Hugging Face.
  • Utiliza compresión iq1m para lograr un tamaño de archivo de 89 GB para la versión más pequeña.
  • Las pruebas muestran que el modelo cuantizado conserva una calidad y coherencia significativas a pesar de la fuerte compresión.
  • Los ejemplos incluyen la generación de simuladores de vuelo en HTML, SVGs de pandas y pelícanos, e imágenes de capibaras.

La publicación destaca que, incluso a medida que los modelos crecen, la cuantización de 1 bit puede mantener un rendimiento utilizable para inferencia local.