Los investigadores presentan MOJO (Masked autOencoder-based JOint training), un marco para modelos que tokenizan picos, que aprovecha conjuntamente el aprendizaje no supervisado mediante autoencoding enmascarado y objetivos de aprendizaje supervisado. Este enfoque aborda la limitación de los modelos actuales restringidos al aprendizaje supervisado, que requiere etiquetas conductuales emparejadas.
- Evaluado en tres conjuntos de datos de picos que abarcan la corteza motora del mono y grabaciones multirregionales de ratones, MOJO demuestra un rendimiento superior sobre modelos entrenados puramente con supervisión.
- La mejora es particularmente pronunciada al entrenar con datos etiquetados limitados, específicamente en escenarios de finetuning few-shot.
- Incorporar el aprendizaje no supervisado produce representaciones neuronales más interpretables, mejorando el rendimiento en la clasificación de regiones cerebrales y la predicción de estadísticas de picos sin optimización explícita.
- MOJO se generaliza a la electrocorticografía humana durante el habla, logrando un rendimiento comparable a los modelos neuro-fundacionales diseñados para señales continuas.
Aumentar los modelos que tokenizan picos con aprendizaje no supervisado mejora el rendimiento en entornos con pocas etiquetas y permite el uso de datos sin etiquetar en varias tareas y especies.