Bonsai-27B 및 Ternary-Bonsai-27B 모델은 메인라인 llama.cpp 저장소로의 통합이 증가하고 있으며, CPU, Metal, CUDA, Vulkan 백엔드 전반에 걸쳐 Q1_0 바이너리 지원이 기본적으로 제공되고 있습니다. Ternary 지원은 현재 전환 단계에 있으며, CPU 및 Metal 백엔드는 병합되었지만 CUDA 및 Vulkan 구현은 검토 중 또는 보류 상태입니다.
- 상위 버전 llama.cpp에서 Q1_0 형식이 완전히 지원됩니다. MLX 지원은 별도 풀 리퀘스트를 통해 보류 중입니다.
- 세 가지 Ternary GGUF 변형이 존재합니다: 데모용 group-128 Q2_0(포크 전용), 공식 group-64 Q2_0(메인라인 CPU/Metal), 그리고 계획된 PQ2_0 형식입니다.
- Bonsai-27B는 완전 정밀 품질의 89.5%를 유지하고, Ternary-Bonsai-27B는 94.6%를 유지하며, 둘 다 에이전트 코딩이 아직 주요 초점이 아님을 명시합니다.
- Ternary 모델의 약 7.2 GB 크기는 iOS 메모리 예산을 초과하므로 모바일 배포에는 1-bit MLX 변형이 필요합니다.
이러한 업데이트는 다양한 하드웨어 백엔드에서 이러한 극단적인 압축 모델을 실행하는 사용자를 위한 현재 호환성 환경을 명확히 합니다.