PrismML 팀은 사용자 정의 WebGPU 커널을 사용하여 웹 브라우저에서 로컬로 실행하도록 설계된 대규모 언어 모델인 Bonsai 27B를 출시했습니다. 이 모델은 1비트 양자화를 활용하여 높은 성능을 유지하면서 메모리 사용량을 크게 줄입니다.

  • 1비트 양자화로 인해 모델 크기가 54GB에서 불과 3.8GB로 줄어들어 93%의 감소율을 달성했습니다.
  • 공격적인 압축에도 불구하고 모델은 원래 지능의 90%를 유지합니다.
  • PrismML 조직 아래 Hugging Face에서 체크포인트 컬렉션을 사용할 수 있습니다.
  • WebGPU 커널을 활용하는 인터랙티브 데모가 Hugging Face Spaces에 호스팅되어 있습니다.

이 출시로 사용자는 고급 로컬 하드웨어 없이도 브라우저에서 대규모 밀집 모델을 직접 실행할 수 있게 됩니다.