PrismML выпустила Bonsai 27B — тернарную модель Qwen3.6, работающую на 10 ГБ памяти

PrismML выпустила Bonsai 27B, новую модель, которая применяет методологию Ternary/BitNet к Qwen3.6 27B. Этот подход позволяет модели работать с точностью, близкой к fp16, потребляя при этом всего около 10 ГБ памяти на чипе M4 Pro.

• Модель использует тернарный формат GGUF, требующий специального форка llama.cpp для вывода.
• Поддерживается контекстное окно размером 256K и возможности мультимодального ввода.
• Результаты бенчмарков показывают производительность, превосходящую традиционные квантования Qwen3.6 27B в 2–3 бита.
• В релиз включен форк MLX наряду с основной реализацией GGUF.

Этот релиз делает практическим запуск высокоэффективной модели 27B на устройстве для ноутбуков и десктопов с ограниченным объемом VRAM, устраняя предыдущие ограничения локального развертывания.