Модели Bonsai-27B и Ternary-Bonsai-27B получают всё более широкую интеграцию в основную ветку репозитория llama.cpp, при этом поддержка бинарного формата Q1_0 теперь доступна из коробки для CPU, Metal, CUDA и Vulkan. Поддержка тернарных моделей находится в переходной фазе: бэкенды CPU и Metal уже объединены, а реализации для CUDA и Vulkan находятся на этапе рассмотрения или ожидания.
- Бинарный формат Q1_0 полностью поддерживается в upstream llama.cpp; поддержка MLX остаётся ожидающей через отдельный pull request.
- Существует три варианта GGUF для тернарных моделей: group-128 Q2_0 из демо (только форк), официальный group-64 Q2_0 (основная ветка CPU/Metal) и планируемый формат PQ2_0.
- Bonsai-27B сохраняет 89,5% качества полной точности, а Ternary-Bonsai-27B — 94,6%, при этом отмечается, что агентское программирование пока не является основным фокусом.
- Размер модели в ~7,2 ГБ превышает лимиты памяти iOS, что требует использования варианта MLX с разрядностью 1 бит для мобильной разработки.
Эти обновления проясняют текущую ситуацию совместимости для пользователей, работающих с моделями экстремального сжатия на различных аппаратных бэкендах.