PrismML выпустила Bonsai 27B, квантование с низким битом модели Qwen3.6-27B, которое позволяет запускать большие мультимодальные модели на ноутбуках и телефонах без переобучения.
- Тернарная версия Bonsai 27B использует тернарные веса при 1.71 бита на вес для размера 5.9 ГБ, сохраняя 94.6% точности базовой линии FP16.
- Версия Bonsai 27B с 1 битом использует бинарные веса при 1.125 бита на вес для размера 3.9 ГБ, сохраняя 89.5% точности базовой линии FP16.
- Архитектура осталась неизменной по сравнению с Qwen3.6-27B, только параметры нормализации и масштаба сохранены в более высокой точности.
- Обе версии поддерживают контекстное окно на 262K токенов и доступны под лицензией Apache 2.0 для llama.cpp и MLX.
Выпуск решает проблему ограничений памяти на периферийных устройствах, позволяя обслуживать на одной GPU с картами 24 ГБ и выполнять локальный вывод на мобильном оборудовании, сохраняя практическую производительность.