Команда PrismML выпустила Bonsai 27B, большую языковую модель, предназначенную для локального запуска в веб-браузере с использованием пользовательских WebGPU-ядер. Модель использует 1-битное квантование для значительного сокращения потребления памяти при сохранении высокой производительности.

  • 1-битное квантование уменьшает размер модели с 54 ГБ до всего 3,8 ГБ, что составляет снижение на 93%.
  • Несмотря на агрессивное сжатие, модель сохраняет 90% своей исходной интеллектуальной мощности.
  • Набор контрольных точек доступен на Hugging Face в организации PrismML.
  • Интерактивное демо, использующее WebGPU-ядра, размещено на Hugging Face Spaces.

Эт релиз позволяет пользователям запускать крупномасштабную плотную модель непосредственно в браузере без необходимости в мощном локальном оборудовании.