PrismML lanza Bonsai 27B, un LLM denso de 1-bit que se ejecuta en el navegador

El equipo de PrismML ha lanzado Bonsai 27B, un modelo de lenguaje grande diseñado para ejecutarse localmente en un navegador web utilizando kernels WebGPU personalizados. El modelo utiliza cuantización de 1-bit para reducir significativamente su huella de memoria mientras mantiene un alto rendimiento.

• La cuantización de 1-bit reduce el tamaño del modelo de 54 GB a solo 3,8 GB, una reducción del 93%.
• A pesar de la compresión agresiva, el modelo conserva el 90% de su inteligencia original.
• Una colección de checkpoints está disponible en Hugging Face bajo la organización PrismML.
• Una demo interactiva que utiliza kernels WebGPU está alojada en Hugging Face Spaces.

Este lanzamiento permite a los usuarios ejecutar un modelo denso a gran escala directamente en su navegador sin requerir hardware local de alta gama.