本記事は、Llama 3.2を用いた機能的磁気共鳴画像法(fMRI)による神経言語デコーディングを検証し、Huthらによるエンコーディングパイプラインを改善します。fMRIFlamingoを導入し、学習された脳トークナイザーとPerceiver Resamplerを通じてBOLD活動から固定されたLlama-3.2-1Bモデルへのマッピングを実現します。

  • 改良されたHuthパイプラインは、拡張されたボクセル選択（10Kから15K）とGPT-2 mediumを使用し、被験者UTS03において平均METEOR = 0.149およびBLEU-1 = 0.200を達成しました。
  • fMRIFlamingoは1-in-100のランキングタスクでTop-1精度42.86%を達成しました。
  • fMRI入力をゼロにした盲検制御アブレーションではほぼ同一のスコアが得られ、デコーディングの成功が神経入力ではなく固定された言語事前モデルによって駆動されていることが示唆されます。

これらの結果は、大規模な言語モデルがfMRIデコーディングを本質的に改善するものではなく、厳格な盲検制御評価なしでは失敗を隠蔽しうることを示しています。