PrismML lance Bonsai 27B, un modèle ternary Qwen3.6 fonctionnant sur 10 Go de mémoire

PrismML a publié Bonsai 27B, un nouveau modèle qui applique la méthodologie Ternary/BitNet à Qwen3.6 27B. Cette approche permet au modèle de fonctionner avec une précision proche de fp16 tout en consommant seulement environ 10 Go de mémoire sur une puce M4 Pro.

• Le modèle utilise un format GGUF ternary, nécessitant une fork spécifique de llama.cpp pour l'inférence.
• Il prend en charge une fenêtre de contexte de 256K et des capacités d'entrée multimodales.
• Les benchmarks indiquent des performances supérieures aux quantifications traditionnelles 2-3bit de Qwen3.6 27B.
• La release inclut un fork MLX alongside l'implémentation GGUF principale.

Cette release rend la course d'un modèle 27B à haute utilité sur appareil pratique pour les ordinateurs portables et de bureau avec une VRAM limitée, adressant les contraintes précédentes du déploiement local.