Un desarrollador ha creado un modelo de lenguaje diminuto con un archivo de pesos de 842KB y 107.776 parámetros utilizando subpalabras bigrama. El modelo está diseñado para ejecutarse directamente en el navegador y fue entrenado en un corpus mixto que favorece la generación de historias cortas.

  • El modelo pesa solo 842KB y contiene 107.776 parámetros.
  • Utiliza tokens bigrama para deletrear las palabras individualmente en lugar de enlazarlas.
  • Los datos de entrenamiento están ponderados hacia historias diminutas, aunque el corpus es mixto.
  • Los hallazgos de la investigación están documentados en Zenodo bajo "Phasor-Face Transformers (PrismFormer)".

El autor tiene como objetivo refinar el modelo durante los próximos días para mejorar la calidad de su salida al generar narrativas cortas.