PrismML 发布 Bonsai 27B，一种可在浏览器中运行的 1-bit 密集 LLM

PrismML 团队发布了 Bonsai 27B，这是一个大型语言模型，旨在使用自定义 WebGPU 内核在本地网页浏览器中运行。该模型利用 1-bit 量化显著减小了其内存占用，同时保持高性能。

• 1-bit 量化将模型大小从 54GB 缩小到仅 3.8GB，减少了 93%。
• 尽管压缩非常激进，但该模型仍保留了其原始智能的 90%。
• 一组检查点可在 Hugging Face 上的 PrismML 组织下获取。
• 一个利用 WebGPU 内核的交互式演示托管在 Hugging Face Spaces 上。

此发布使用户能够直接在浏览器中运行大规模密集模型，而无需高端本地硬件。