L'équipe de PrismML a publié Bonsai 27B, un grand modèle de langage conçu pour s'exécuter localement dans un navigateur web à l'aide de noyaux WebGPU personnalisés. Le modèle utilise une quantification en 1-bit pour réduire considérablement son empreinte mémoire tout en maintenant des performances élevées.
- La quantification en 1-bit réduit la taille du modèle de 54 Go à seulement 3,8 Go, soit une réduction de 93 %.
- Malgré une compression agressive, le modèle conserve 90 % de son intelligence d'origine.
- Une collection de points de contrôle est disponible sur Hugging Face sous l'organisation PrismML.
- Une démo interactive utilisant des noyaux WebGPU est hébergée sur Hugging Face Spaces.
Cette publication permet aux utilisateurs d'exécuter un modèle dense à grande échelle directement dans leur navigateur sans nécessiter de matériel local haut de gamme.