PrismML lança Bonsai 27B, um LLM denso de 1-bit que roda no navegador

A equipe da PrismML lançou o Bonsai 27B, um modelo de linguagem grande projetado para rodar localmente em um navegador web usando kernels WebGPU personalizados. O modelo utiliza quantização de 1-bit para reduzir significativamente sua pegada de memória enquanto mantém alto desempenho.

• A quantização de 1-bit reduz o tamanho do modelo de 54 GB para apenas 3,8 GB, uma redução de 93%.
• Apesar da compressão agressiva, o modelo retém 90% de sua inteligência original.
• Uma coleção de checkpoints está disponível no Hugging Face sob a organização PrismML.
• Uma demo interativa utilizando kernels WebGPU está hospedada no Hugging Face Spaces.

Este lançamento permite que os usuários executem um modelo denso em grande escala diretamente em seu navegador sem exigir hardware local de alta gama.