Pesquisadores apresentam o MOJO (Masked autOencoder-based JOint training), um framework para modelos que tokenizam spikes, que combina aprendizado auto-supervisionado via autoencoding mascarado e objetivos de aprendizado supervisionado. Esta abordagem aborda a limitação dos modelos atuais restritos ao aprendizado supervisionado, que requer rótulos comportamentais pareados.
- Avaliado em três conjuntos de dados de spikes abrangendo córtex motor do macaco e gravações multirregionais de camundongos, o MOJO demonstra desempenho superior sobre modelos treinados puramente com supervisão.
- A melhoria é particularmente pronunciada ao treinar com dados rotulados limitados, especificamente em cenários de finetuning few-shot.
- Incorporar aprendizado auto-supervisionado produz representações neurais mais interpretáveis, melhorando o desempenho na classificação de regiões cerebrais e previsão de estatísticas de spikes sem otimização explícita.
- O MOJO generaliza-se para eletrocorticografia humana durante a fala, alcançando desempenho comparável aos modelos neuro-fundacionais projetados para sinais contínuos.
Aumentar modelos que tokenizam spikes com aprendizado auto-supervisionado melhora o desempenho em configurações com poucos rótulos e permite o uso de dados não rotulados em várias tarefas e espécies.