Les chercheurs présentent MOJO (Masked autOencoder-based JOint training), un framework pour les modèles de tokenisation par spike qui exploite conjointement l'apprentissage auto-supervisé via l'auto-encodage masqué et des objectifs d'apprentissage supervisé. Cette approche comble la limitation des modèles actuels restreints à l'apprentissage supervisé, qui nécessite des étiquettes comportementales appariées.
- Évalué sur trois ensembles de données de spike couvrant le cortex moteur du singe et des enregistrements multi-régionaux chez la souris, MOJO démontre des performances supérieures aux modèles entraînés uniquement par apprentissage supervisé.
- L'amélioration est particulièrement prononcée lors de l'entraînement avec des données étiquetées limitées, spécifiquement dans des scénarios de finetuning few-shot.
- L'intégration de l'apprentissage auto-supervisé produit des représentations neuronales plus interprétables, améliorant les performances sur la classification des régions cérébrales et la prédiction des statistiques de spike sans optimisation explicite.
- MOJO se généralise à l'électrocorticographie humaine pendant la parole, atteignant des performances comparables aux neuro-foundation models conçus pour des signaux continus.
L'augmentation des modèles de tokenisation par spike avec l'apprentissage auto-supervisé améliore les performances dans des contextes pauvres en étiquettes et permet l'utilisation de données non étiquetées sur diverses tâches et espèces.