본 기사는 Llama 3.2를 사용한 의미론적 fMRI 신경 언어 디코딩을 조사하고 Huth等人的 인코딩 파이프라인을 개선합니다. 학습된 뇌 토크나이저와 Perceiver Resampler를 통해 고정된 Llama-3.2-1B 모델에 BOLD 활동을 매핑하는 fMRIFlamingo를 소개합니다.

  • 개선된 Huth 파이프라인은 확장된 보셀 선택(10K에서 15K)과 GPT-2 medium을 사용하여 피험자 UTS03에 대해 평균 METEOR = 0.149 및 BLEU-1 = 0.200을 달성했습니다.
  • fMRIFlamingo는 1-in-100 랭킹 작업에서 Top-1 정확도 42.86%를 달성했습니다.
  • fMRI 입력을 영으로 설정한 블라인드 제어 아블레이션은 거의 동일한 점수를 산출하여, 디코딩 성공이 신경 입력이 아닌 고정된 언어 사전에 의해 주도됨을 나타냅니다.

이러한 결과는 높은 용량의 언어 모델이 fMRI 디코딩을 본질적으로 개선하지 않으며, 엄격한 블라인드 제어 평가 없이는 실패를 가릴 수 있음을 보여줍니다.