fMRIFlamingo mapeia atividade BOLD para Llama-3.2-1B, mas depende de prior congelada

O artigo investiga a decodificação de linguagem neural fMRI semântica usando Llama 3.2 e melhora o pipeline de codificação de Huth et al. Ele introduz o fMRIFlamingo, que mapeia a atividade BOLD para um modelo Llama-3.2-1B congelado por meio de um tokenizador cerebral aprendido e Perceiver Resampler.

• O pipeline melhorado de Huth usa seleção de voxels expandida (de 10K para 15K) e GPT-2 medium, alcançando METEOR médio = 0.149 e BLEU-1 = 0.200 para o sujeito UTS03.
• fMRIFlamingo atinge precisão Top-1 de 42.86% em uma tarefa de classificação 1-em-100.
• Uma ablação de controle cego com entradas fMRI zeradas produz pontuações quase idênticas, indicando que o sucesso da decodificação é impulsionado pela prior linguística congelada em vez da entrada neural.

Esses resultados demonstram que modelos de linguagem de alta capacidade não melhoram inerentemente a decodificação fMRI e podem obscurecer falhas sem uma avaliação rigorosa com controle cego.