PrismML, 10GB 메모리에서 실행되는 ternary Qwen3.6 모델 Bonsai 27B 출시

PrismML은 Qwen3.6 27B에 Ternary/BitNet 방법론을 적용한 새로운 모델인 Bonsai 27B를 출시했습니다. 이 접근 방식은 fp16 수준의 정밀도를 유지하면서 M4 Pro 칩에서 약 10GB의 메모리만 소비하여 모델을 실행할 수 있게 합니다.

• 모델은 ternary GGUF 형식을 사용하며, 추론을 위해 특정 llama.cpp 포크가 필요합니다.
• 256K 컨텍스트 윈도우와 멀티모달 입력 기능을 지원합니다.
• 벤치마크는 Qwen3.6 27B의 기존 2~3bit 양자화보다 우수한 성능을 보여줍니다.
• 이번 출시에는 주요 GGUF 구현체와 함께 MLX 포크도 포함되어 있습니다.

이번 출시는 VRAM이 제한된 노트북과 데스크탑에서 고기능성 27B 모델을 온디바이스에서 실행하는 것을 현실적으로 만들어, 로컬 배포의 이전 제약을 해소했습니다.