PrismML a publié Bonsai 27B, une quantification basse précision du modèle Qwen3.6-27B qui permet d'exécuter de grands modèles multimodaux sur des ordinateurs portables et des téléphones sans réentraînement.
- Bonsai 27B ternaire utilise des poids ternaires à 1,71 bits par poids pour une empreinte de 5,9 Go, conservant 94,6 % de la précision de référence FP16.
- Bonsai 27B 1-bit utilise des poids binaires à 1,125 bits par poids pour une empreinte de 3,9 Go, conservant 89,5 % de la précision de référence FP16.
- L'architecture reste inchangée par rapport à Qwen3.6-27B, avec uniquement les paramètres de normalisation et d'échelle conservés en haute précision.
- Les deux variantes prennent en charge une fenêtre de contexte de 262K tokens et sont disponibles sous la licence Apache 2.0 pour llama.cpp et MLX.
Cette publication répond aux contraintes mémoire des appareils edge, permettant le déploiement sur un seul GPU avec des cartes de 24 Go et l'inférence locale sur du matériel mobile tout en maintenant des performances pratiques.