Исследователи выпустили Brain2Qwerty v2, неинвазивный AI-пайплайн, который декодирует предложения в реальном времени по данным магнитоэнцефалографии (MEG) без хирургических имплантатов. Система достигает общей точности на уровне слов 61% и до 78% у лучших участников, значительно превосходя предыдущие неинвазивные методы.
- Обучена на примерно 22 000 предложений от девяти участников, носивших устройства MEG во время набора текста.
- Использует сквозное глубокое обучение для прямого декодирования из сырых мозговых сигналов вместо конвейеров с ручной разработкой.
- Дообучает большие языковые модели на нейронных данных, чтобы использовать семантический контекст и компенсировать зашумленные входные данные.
- Применяет AI-агентов для поиска оптимизаций пайплайна декодирования, а финальные конфигурации отбирают инженеры.
- Публикуется полный код обучения для v1 и v2, а также датасет v1 от партнера BCBL.
Это исследование направлено на создание масштабируемой альтернативы инвазивным нейропротезам для миллионов людей с поражениями мозга, препятствующими коммуникации. Продвигая открытые базовые модели работы мозга, авторы надеются ускорить выявление и лечение неврологических заболеваний.