fMRIFlamingo mapea la actividad BOLD a Llama-3.2-1B pero depende de una prior congelada

El artículo investiga la decodificación del lenguaje neural fMRI semántico utilizando Llama 3.2 y mejora la tubería de codificación de Huth et al. Introduce fMRIFlamingo, que mapea la actividad BOLD a un modelo Llama-3.2-1B congelado mediante un tokenizador cerebral aprendido y Perceiver Resampler.

• La tubería mejorada de Huth utiliza una selección de voxels expandida (de 10K a 15K) y GPT-2 medium, logrando METEOR medio = 0.149 y BLEU-1 = 0.200 para el sujeto UTS03.
• fMRIFlamingo alcanza una precisión Top-1 del 42.86% en una tarea de clasificación 1-en-100.
• Una ablación de control ciego con entradas fMRI anuladas produce puntuaciones casi idénticas, lo que indica que el éxito de la decodificación está impulsado por la prior lingüística congelada en lugar de la entrada neural.

Estos resultados demuestran que los modelos de lenguaje de alta capacidad no mejoran inherentemente la decodificación fMRI y pueden oscurecer fallos sin una evaluación rigurosa con control ciego.