PrismML이 Bonsai 27B를 출시하여 Qwen3.6-27B를 1비트 및 삼진 가중치로 압축

PrismML은 재학습 없이 노트북과 스마트폰에서 대규모 다중모달 모델을 실행할 수 있는 Qwen3.6-27B 모델의 저비트 양자화인 Bonsai 27B를 출시했습니다.

• 삼진 Bonsai 27B는 가중치당 1.71비트의 삼진 가중치를 사용하여 5.9GB의 크기를 가지며 FP16 기준 정확도의 94.6%를 유지합니다.
• 1비트 Bonsai 27B는 가중치당 1.125비트의 이진 가중치를 사용하여 3.9GB의 크기를 가지며 FP16 기준 정확도의 89.5%를 유지합니다.
• 아키텍처는 Qwen3.6-27B와 동일하며, 정규화 및 스케일 매개변수만 더 높은 정밀도로 유지됩니다.
• 두 변형 모두 262K 토큰의 컨텍스트 창을 지원하며 llama.cpp 및 MLX를 위해 Apache 2.0 라이선스 하에 제공됩니다.

이 릴리스는 엣지 장치의 메모리 제약을 해결하여 24GB 카드에서 단일 GPU 서빙과 모바일 하드웨어에서의 로컬 추론을 가능하게 하면서도 실용적인 성능을 유지합니다.