Tests utilisateurs de la quantisation Hy3 1-bit conservant la qualité à 89 Go

Un utilisateur de Reddit a téléchargé une version quantifiée en 1 bit du modèle Hy3 sur Hugging Face, en utilisant spécifiquement le format iq1m. La variante la plus petite de ce checkpoint fait environ 89 Go.

• Le modèle est disponible sous AngelSlim/Hy3-GGUF sur Hugging Face.
• Il utilise la compression iq1m pour atteindre une taille de fichier de 89 Go pour l'extrémité la plus petite.
• Les tests montrent que le modèle quantifié conserve une qualité et une cohérence significatives malgré la forte compression.
• Les exemples incluent la génération de simulateurs de vol HTML, d'SVG de pandas et de pélicans, ainsi que d'images de capybaras.

Le post souligne que même à mesure que les modèles deviennent plus grands, la quantisation 1-bit peut maintenir des performances utilisables pour l'inférence locale.