लेख Llama 3.2 का उपयोग करके अर्थपूर्ण fMRI न्यूरोलैंग्वेज डिकोडिंग की जांच करता है और Huth et al. के एन्कोडिंग पाइपलाइन में सुधार करता है। यह fMRIFlamingo पेश करता है, जो एक सीखे हुए ब्रेन टोकनाइजर और Perceiver Resampler के माध्यम से BOLD गतिविधि को एक फ्रोजन Llama-3.2-1B मॉडल से मैप करता है।
- Huth पाइपलाइन में विस्तारित वॉक्सेल चयन (10K से 15K तक) और GPT-2 medium का उपयोग किया जाता है, जिससे UTS03 विषय के लिए औसत METEOR = 0.149 और BLEU-1 = 0.200 प्राप्त होता है।
- fMRIFlamingo एक 1-in-100 रैंकिंग कार्य पर 42.86% Top-1 सटीकता हासिल करता है।
- शून्य किए गए fMRI इनपुट के साथ एक ब्लाइंड कंट्रोल एब्लेशन लगभग समान स्कोर देता है, जो संकेत देता है कि डिकोडिंग सफलता न्यूरोलैंग्वेज प्रायर की बजाय फ्रोजन भाषा प्रायर द्वारा संचालित है।
ये परिणाम दिखाते हैं कि उच्च-क्षमता वाले भाषा मॉडल fMRI डिकोडिंग को स्वतः नहीं सुधारते और कठोर ब्लाइंड-कंट्रोल मूल्यांकन के बिना विफलताओं को छिपा सकते हैं।