PrismML lanza Bonsai 27B, un modelo ternario Qwen3.6 que funciona con 10 GB de memoria

PrismML ha lanzado Bonsai 27B, un nuevo modelo que aplica la metodología Ternary/BitNet a Qwen3.6 27B. Este enfoque permite que el modelo funcione con precisión cercana a fp16 mientras consume solo aproximadamente 10 GB de memoria en un chip M4 Pro.

• El modelo utiliza un formato GGUF ternario, requiriendo una bifurcación específica de llama.cpp para la inferencia.
• Admite una ventana de contexto de 256K y capacidades de entrada multimodal.
• Los benchmarks indican un rendimiento superior a las cuantizaciones tradicionales de 2-3 bits de Qwen3.6 27B.
• El lanzamiento incluye una bifurcación de MLX junto con la implementación principal de GGUF.

Este lanzamiento hace práctico ejecutar un modelo de alta utilidad de 27B en el dispositivo para portátiles y escritorios con VRAM limitada, abordando las restricciones anteriores en el despliegue local.