Les chercheurs ont publié Brain2Qwerty v2, un pipeline d'IA non invasif qui décode des phrases en temps réel à partir d'enregistrements de magnétoencéphalographie (MEG) sans implants chirurgicaux. Le système atteint une précision lexicale globale de 61 % et jusqu'à 78 % pour les meilleurs participants, surpassant significativement les méthodes non invasives précédentes.
- Entraîné sur environ 22 000 phrases issues de neuf participants portant des dispositifs MEG tout en tapant.
- Utilise l'apprentissage profond de bout en bout pour décoder directement à partir de signaux cérébraux bruts plutôt que via des pipelines conçus manuellement.
- Affine les grands modèles de langage sur des données neurales afin d'exploiter le contexte sémantique et combler les lacunes dues aux entrées bruitées.
- Déploie des agents IA pour explorer les optimisations du pipeline de décodage, les configurations finales étant sélectionnées par les ingénieurs.
- Publie l'intégralité du code d'entraînement pour les versions v1 et v2, ainsi que le jeu de données v1 fourni par le partenaire BCBL.
Cette recherche vise à offrir une alternative évolutive aux neuroprothèses invasives pour des millions de personnes atteintes de lésions cérébrales empêchant la communication. En faisant progresser les modèles fondamentaux ouverts du cerveau, les auteurs espèrent accélérer l'identification et le traitement des troubles neurologiques.