PrismMLチームは、カスタムWebGPUカーネルを使用してウェブブラウザ上でローカルに実行できるように設計された大規模言語モデル「Bonsai 27B」をリリースしました。このモデルは1ビット量子化を活用し、高いパフォーマンスを維持しつつメモリフットプリントを大幅に削減しています。
- 1ビット量子化により、モデルサイズが54GBからわずか3.8GBに縮小され、93%の削減を実現しました。
- 積極的な圧縮にもかかわらず、モデルは元の知能の90%を保持しています。
- チェックポイントのコレクションがPrismML組織の下でHugging Face上で利用可能です。
- WebGPUカーネルを活用したインタラクティブなデモがHugging Face Spaces上にホストされています。
このリリースにより、ユーザーは高価なローカルハードウェアを必要とせずに、大規模密度型モデルをブラウザ上で直接実行できるようになります。