Testes de usuários mostram que a quantização Hy3 de 1 bit mantém a qualidade em 89 GB

Um usuário do Reddit enviou uma versão quantizada de 1 bit do modelo Hy3 para o Hugging Face, usando especificamente o formato iq1m. A variante mais pequena deste checkpoint tem aproximadamente 89 GB de tamanho.

• O modelo está disponível como AngelSlim/Hy3-GGUF no Hugging Face.
• Ele utiliza compressão iq1m para alcançar um tamanho de arquivo de 89 GB para a versão menor.
• Os testes mostram que o modelo quantizado retém qualidade e coerência significativas apesar da forte compressão.
• Os exemplos incluem a geração de simuladores de voo em HTML, SVGs de pandas e pelicanos, e imagens de capivaras.

A postagem destaca que, mesmo à medida que os modelos crescem, a quantização de 1 bit pode manter um desempenho utilizável para inferência local.