新しいフレームワークは、静的な語彙表現（W2V）と動的な文脈化された表現（GPT）を融合させることで、連続的な意味再構築における表現のミスマッチに対処する。本研究は2つの統合手法をベンチマークしている：線形のNaive Concatenationと非線形のMulti-Head Cross-Attention。

  • このアプローチは、言語理解中の協調的処理を促進するためにインタラクティブなゲート機構を使用する。
  • 評価の結果、Cross-Att > Concat > GPT > W2Vという性能の階層が明らかになった。
  • 非線形クロスアテンション融合手法が最先端のパフォーマンスを達成した。

著者らはこれを重要視している。なぜなら、これは文脈情報と核心的な語彙属性間の協調的変調をシミュレートすることが神経言語デコーディングに利益をもたらすことを示しており、実用的な非侵襲的な脳からテキストへのデコーディング手法を提供するからである。