Разработчик создал крошечную языковую модель с файлом весов размером 842 КБ и 107 776 параметрами, использующую биграммные субслова. Модель предназначена для запуска непосредственно в браузере и была обучена на смешанном корпусе данных, ориентированном на генерацию коротких историй.
- Вес модели составляет всего 842 КБ, содержит 107 776 параметров.
- Она использует биграммные токены для пословного написания слов, а не их связывания.
- Обучающие данные смещены в сторону крошечных историй, хотя корпус смешанный.
- Результаты исследований задокументированы на Zenodo под названием "Phasor-Face Transformers (PrismFormer)".
Автор планирует доработать модель в ближайшие дни, чтобы улучшить качество её вывода при генерации коротких нарративов.