fMRIFlamingo mappe l'activité BOLD à Llama-3.2-1B mais s'appuie sur un prior gelé

L'article examine le décodage neuronal du langage par IRMf sémantique en utilisant Llama 3.2 et améliore le pipeline d'encodage de Huth et al. Il introduit fMRIFlamingo, qui mappe l'activité BOLD à un modèle Llama-3.2-1B gelé via un brain tokenizer appris et un Perceiver Resampler.

• Le pipeline Huth amélioré utilise une sélection de voxels élargie (de 10K à 15K) et GPT-2 medium, atteignant un METEOR moyen = 0.149 et un BLEU-1 = 0.200 pour le sujet UTS03.
• fMRIFlamingo atteint une précision Top-1 de 42,86 % sur une tâche de classement 1-in-100.
• Une ablation de contrôle aveugle avec des entrées IRMf mises à zéro donne des scores quasi identiques, indiquant que le succès du décodage est piloté par le prior linguistique gelé plutôt que par l'entrée neuronale.

Ces résultats démontrent que les modèles de langage à haute capacité n'améliorent pas intrinsèquement le décodage IRMf et peuvent masquer des échecs sans une évaluation rigoureuse par contrôle aveugle.