Un développeur a créé un modèle de langage minuscule avec un fichier de poids de 842 Ko et 107 776 paramètres en utilisant des sous-mots bigrammes. Le modèle est conçu pour s'exécuter directement dans le navigateur et a été entraîné sur un corpus mixte favorisant la génération de courtes histoires.
- Le modèle pèse seulement 842 Ko et contient 107 776 paramètres.
- Il utilise des tokens bigrammes pour épeler les mots individuellement plutôt que de les lier.
- Les données d'entraînement sont pondérées vers de minuscules histoires, bien que le corpus soit mixte.
- Les résultats de la recherche sont documentés sur Zenodo sous « Phasor-Face Transformers (PrismFormer) ».
L'auteur vise à affiner le modèle au cours des prochains jours pour améliorer la qualité de sa sortie lors de la génération de courts récits.