새로운 프레임워크는 정적 어휘 표현(W2V)과 동적 문맥화 표현(GPT)을 융합하여 연속적인 의미 재구현의 표현 불일치를 해결합니다. 이 연구는 두 가지 통합 접근 방식을 벤치마킹합니다: 선형 Naive Concatenation과 비선형 Multi-Head Cross-Attention.

  • 이 접근 방식은 언어 이해 동안 협력적 처리를 촉진하기 위해 상호작용 게이트 메커니즘을 사용합니다.
  • 평가 결과 Cross-Att > Concat > GPT > W2V의 성능 계층이 드러났습니다.
  • 비선형 크로스 어텐션 융합 방법이 최첨단 성능을 달성했습니다.

저자들은 이것이 중요하다고 봅니다. 문맥 정보와 핵심 어휘 속성 간의 협력적 변조를 시뮬레이션하는 것이 신경 언어 디코딩에 이점을 제공하며, 실행 가능한 비침습적 뇌-텍스트 디코딩 방법을 제시하기 때문입니다.