fMRIFlamingo memetakan aktivitas BOLD ke Llama-3.2-1B tetapi bergantung pada prior beku

Artikel ini menyelidiki dekoding bahasa saraf fMRI semantik menggunakan Llama 3.2 dan meningkatkan pipeline pengodean Huth et al. Ini memperkenalkan fMRIFlamingo, yang memetakan aktivitas BOLD ke model Llama-3.2-1B beku melalui brain tokenizer yang dipelajari dan Perceiver Resampler.

• Pipeline Huth yang ditingkatkan menggunakan seleksi voxel yang diperluas (dari 10K menjadi 15K) dan GPT-2 medium, mencapai METEOR rata-rata = 0.149 dan BLEU-1 = 0.200 untuk subjek UTS03.
• fMRIFlamingo mencapai akurasi Top-1 sebesar 42,86% pada tugas peringkat 1-dalam-100.
• Ablasi kontrol buta dengan input fMRI yang di-nol-kan menghasilkan skor yang hampir identik, menunjukkan bahwa keberhasilan dekoding didorong oleh prior bahasa beku daripada input saraf.

Hasil-hasil ini menunjukkan bahwa model bahasa berkapasitas tinggi tidak secara inheren meningkatkan dekoding fMRI dan dapat menutupi kegagalan tanpa evaluasi kontrol buta yang ketat.