PrismML lanza Bonsai 27B, comprimiendo Qwen3.6-27B a pesos de 1 bit y ternarios

PrismML ha lanzado Bonsai 27B, una cuantización de bajo ancho de banda del modelo Qwen3.6-27B que permite ejecutar grandes modelos multimodales en portátiles y teléfonos sin necesidad de reentrenamiento.

• Ternary Bonsai 27B utiliza pesos ternarios a 1.71 bits por peso para una huella de 5.9GB, conservando el 94.6% de la precisión de referencia FP16.
• 1-bit Bonsai 27B utiliza pesos binarios a 1.125 bits por peso para una huella de 3.9GB, conservando el 89.5% de la precisión de referencia FP16.
• La arquitectura permanece sin cambios respecto a Qwen3.6-27B, manteniendo solo los parámetros de normalización y escala en mayor precisión.
• Ambas variantes admiten una ventana de contexto de 262K tokens y están disponibles bajo la licencia Apache 2.0 para llama.cpp y MLX.

El lanzamiento aborda las limitaciones de memoria en dispositivos periféricos, permitiendo el servicio con GPU única en tarjetas de 24GB e inferencia local en hardware móvil mientras se mantiene un rendimiento práctico.