한 개발자가 바이그램 서브워드를 사용하여 842KB 가중치 파일과 107,776개의 매개변수를 가진 초소형 언어 모델을 만들었습니다. 이 모델은 브라우저에서 직접 실행되도록 설계되었으며 짧은 이야기 생성을 선호하는 혼합 코퍼스에서 훈련되었습니다.

  • 모델의 크기는 842KB에 불과하며 107,776개의 매개변수를 포함합니다.
  • 단어를 연결하는 대신 개별적으로 철자하기 위해 바이그램 토큰을 사용합니다.
  • 훈련 데이터는 작은 이야기에 가중치가 부여되어 있지만 코퍼스는 혼합되어 있습니다.
  • 연구 결과는 Zenodo에서 "Phasor-Face Transformers (PrismFormer)"로 문서화되었습니다.

저자는 짧은 서사시를 생성하는 데 있어 출력 품질을 개선하기 위해 향후 며칠 동안 모델을 정제할 계획입니다.