本文研究了使用 Llama 3.2 进行语义 fMRI 神经语言解码，并改进了 Huth 等人的编码流水线。它引入了 fMRIFlamingo，通过学习的脑标记器和 Perceiver Resampler 将 BOLD 活动映射到冻结的 Llama-3.2-1B 模型。

  • 改进后的 Huth 流水线使用扩展的体素选择（从 10K 到 15K）和 GPT-2 medium，在受试者 UTS03 上实现了平均 METEOR = 0.149 和 BLEU-1 = 0.200。
  • fMRIFlamingo 在 1-in-100 排名任务中达到了 42.86% 的 Top-1 准确率。
  • 使用零化 fMRI 输入的盲控消融实验产生了几乎相同的分数，表明解码成功是由冻结的语言先验驱动的，而不是由神经输入驱动的。

这些结果表明，高容量语言模型并不一定能提高 fMRI 解码效果，并且如果没有严格的盲控评估，可能会掩盖失败。