Les chercheurs présentent CoCoT, un nouveau modèle fondation pré-entraîné par apprentissage contrastif conçu pour pallier les limites des approches de reconstruction masquée dans le décodage non invasif de l'électroencéphalogramme (EEG). L'architecture combine des couches d'entrée de convolution temporelle multi-échelle avec des blocs encodeur Transformer pour mieux gérer les données bruyantes et les informations confinées à des bandes de fréquence étroites.
- CoCoT égale ou dépasse les modèles EEG pré-entraînés par reconstruction de l'état de l'art sur de nombreuses tâches de décodage de benchmark avec des configurations d'électrodes hétérogènes.
- Les modèles entraînés à partir de zéro surpassent les précédents modèles de décodage à tâche unique et rivalisent avec les modèles pré-entraînés, démontrant une grande flexibilité et une efficacité des données.
- Des ablations systématiques confirment la viabilité de l'apprentissage contrastif pour construire des modèles fondation EEG et mettent en lumière les considérations clés de conception architecturale.
L'étude démontre que le pré-entraînement par apprentissage contrastif est une stratégie viable pour les modèles fondation EEG, offrant une alternative efficace aux méthodes traditionnelles de reconstruction masquée.