PrismML lança Bonsai 27B, um modelo ternário Qwen3.6 que roda com 10GB de memória

A PrismML lançou o Bonsai 27B, um novo modelo que aplica a metodologia Ternary/BitNet ao Qwen3.6 27B. Esta abordagem permite que o modelo rode com precisão próxima à fp16 enquanto consome apenas aproximadamente 10GB de memória em um chip M4 Pro.

• O modelo utiliza um formato GGUF ternário, exigindo uma fork específica do llama.cpp para inferência.
• Suporta uma janela de contexto de 256K e capacidades de entrada multimodal.
• Os benchmarks indicam desempenho superior às quantizações tradicionais de 2-3 bits do Qwen3.6 27B.
• O lançamento inclui uma fork do MLX junto com a implementação principal do GGUF.

Este lançamento torna prático rodar um modelo de alta utilidade de 27B no dispositivo para laptops e desktops com VRAM limitada, abordando as restrições anteriores ao deploy local.