Новая архитектура решает проблему несоответствия репрезентаций при непрерывной семантической реконструкции путем слияния статических лексических репрезентаций (W2V) и динамических контекстуализированных репрезентаций (GPT). В исследовании сравниваются два подхода интеграции: линейное простое конкатенирование и нелинейное многоголовое кросс-внимание.
- Подход использует интерактивный механизм гейтирования для содействия совместной обработке во время понимания языка.
- Оценка выявляет иерархию производительности: Cross-Att > Concat > GPT > W2V.
- Метод слияния на основе нелинейного кросс-внимания достигает состояния искусства (state-of-the-art).
Авторы считают это значимым, поскольку это демонстрирует, что декодирование языка нейронными сетями выигрывает от симуляции совместной модуляции между контекстуальной информацией и основными лексическими атрибутами, предлагая жизнеспособный метод неинвазивного декодирования «мозг-в-текст».