Um desenvolvedor criou um modelo de linguagem minúsculo com um arquivo de pesos de 842KB e 107.776 parâmetros usando subpalavras bigrama. O modelo foi projetado para rodar diretamente no navegador e foi treinado em um corpus misto que favorece a geração de histórias curtas.

  • O modelo pesa apenas 842KB e contém 107.776 parâmetros.
  • Ele utiliza tokens bigrama para soletrar palavras individualmente, em vez de conectá-las.
  • Os dados de treinamento são ponderados para histórias minúsculas, embora o corpus seja misto.
  • As descobertas da pesquisa estão documentadas no Zenodo sob "Phasor-Face Transformers (PrismFormer)".

O autor visa refinar o modelo nos próximos dias para melhorar a qualidade de sua saída ao gerar narrativas curtas.