PrismML lança Bonsai 27B, comprimindo Qwen3.6-27B para pesos de 1-bit e ternários

A PrismML lançou o Bonsai 27B, uma quantização de baixa precisão do modelo Qwen3.6-27B que permite executar grandes modelos multimodais em laptops e celulares sem necessidade de retreinamento.

• O Bonsai 27B ternário utiliza pesos ternários a 1,71 bits por peso, com um tamanho de 5,9 GB, mantendo 94,6% da precisão da linha de base FP16.
• O Bonsai 27B de 1-bit utiliza pesos binários a 1,125 bits por peso, com um tamanho de 3,9 GB, mantendo 89,5% da precisão da linha de base FP16.
• A arquitetura permanece inalterada em relação ao Qwen3.6-27B, com apenas os parâmetros de normalização e escala mantidos em maior precisão.
• Ambas as variantes suportam uma janela de contexto de 262K tokens e estão disponíveis sob a licença Apache 2.0 para llama.cpp e MLX.

O lançamento aborda as restrições de memória em dispositivos de borda, permitindo o serviço com GPU única em placas de 24 GB e inferência local em hardware móvel, mantendo o desempenho prático.