Un nouveau cadre traite le décalage représentationnel dans la reconstruction sémantique continue en fusionnant des représentations lexicales statiques (W2V) avec des représentations contextuelles dynamiques (GPT). L'étude compare deux approches d'intégration : la Concaténation Naïve linéaire et l'Attention Croisée Multi-Tête non linéaire.
- L'approche utilise un mécanisme de portail interactif pour faciliter le traitement coopératif lors de la compréhension du langage.
- L'évaluation révèle une hiérarchie de performance : Cross-Att > Concat > GPT > W2V.
- La méthode de fusion par attention croisée non linéaire atteint des performances de pointe.
Les auteurs considèrent cela comme significatif car cela démontre que le décodage du langage neuronal bénéficie de la simulation d'une modulation collaborative entre les informations contextuelles et les attributs lexicaux fondamentaux, offrant une méthode viable de décodage cerveau-vers-texte non invasive.