Статья исследует семантическое декодирование нейронного языка fMRI с использованием Llama 3.2 и улучшает конвейер кодирования Хута и др. Она представляет fMRIFlamingo, который сопоставляет BOLD-активность с замороженной моделью Llama-3.2-1B через обученный мозговой токенизатор и Perceiver Resampler.

  • Улучшенный конвейер Хута использует расширенный отбор вокселей (от 10K до 15K) и GPT-2 medium, достигая среднего METEOR = 0.149 и BLEU-1 = 0.200 для субъекта UTS03.
  • fMRIFlamingo достигает точности Top-1 на уровне 42.86% в задаче ранжирования 1 из 100.
  • Слепое контрольное абляционное исследование с обнуленными входами fMRI дает практически идентичные результаты, что указывает на то, что успех декодирования обусловлен замороженным языковым предыдущим опытом, а не нейронным входом.

Эти результаты демонстрируют, что языковые модели высокой емкости не обязательно улучшают декодирование fMRI и могут маскировать неудачи без строгой оценки с использованием слепого контроля.